IA aplicada al desarrollo Java empresarial (Spanish Edition)

Capítulo 6. APIde inferencia

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Ya has ampliado tus conocimientos sobre la IA y los distintos tipos de modelos en. Además, has implementado estos modelos localmente (si ha sido posible) y los has probado con consultas. Pero cuando llega el momento de utilizar los modelos, es necesario exponerlos adecuadamente, seguir las buenas prácticas de tu organización y proporcionar a los desarrolladores una forma sencilla de consumir el modelo.

Una API de inferencia ayuda a resolver estos problemas, haciendo que los modelos sean accesibles para todos los desarrolladores. En este capítulo se explora cómo exponer un modelo de IA/ML utilizando una API de inferencia en Java.

¿Qué es una API de inferencia?

Una API de inferencia permite a los desarrolladores de e es enviar datos (en cualquier protocolo, como HTTP, gRPC o Kafka) a un servidor con un modelo ML implementado y recibir las predicciones o clasificaciones como resultado. En la práctica, cada vez que accedes a modelos en la nube como OpenAI o Gemini, o a modelos implementados localmente con Ollama, lo haces a través de su API de inferencia.

Aunque hoy en día es habitual utilizar grandes modelos entrenados por grandes empresas como Google, IBM o Meta, principalmente con fines de LLM, es posible que necesites utilizar pequeños modelos entrenados a medida para resolver un problema específico de tu negocio. Por lo general, estos ...