Prácticas de implementación y optimización de LLM (Spanish Edition)

Capítulo 4. Buenas prácticas para el servicio demodelos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En los capítulos 2 y 3, exploramos la inferencia de modelos, desde la implementación hasta el diseño del sistema. Viste cómo funcionan internamente los LLMs y cómo construir un servicio de implementación partiendo de los principios básicos. Este capítulo cambia el enfoque de cómo construir un sistema de implementación a cómo deben evolucionar los sistemas de implementación en aplicaciones LLM del mundo real.

Las aplicaciones modernas de LLM rara vez consisten en una simple invocación del modelo de solicitud-respuesta. En cambio, los modelos se integran en flujos de trabajo de agentes, plataformas empresariales y sistemas de producción en capas. Cuando esto ocurre, el servicio de modelos deja de ser solo un problema de inferencia y se convierte en un problema de arquitectura del sistema. En este capítulo se examina qué cambia a ese nivel del sistema.

Empezamos con las aplicaciones de agentes LLM, no porque este sea un «capítulo de agentes», sino porque los agentes son ahora el patrón principal para construir sistemas impulsados por LLM. La mayoría de los casos de uso modernos de LLM —asistentes de conocimiento, copilotos, automatización de flujos de trabajo, motores de razonamiento— siguen una estructura similar a la de los agentes. Una sola interacción del usuario puede desencadenar múltiples llamadas a LLM, ...