Prácticas de implementación y optimización de LLM (Spanish Edition)

Capítulo 3. Diseño de sistemas de servicio demodelos : un análisis en profundidad

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En el Capítulo 1, presentamos los principales paradigmas de servicio de modelos, describiendo los patrones arquitectónicos comunes y las ventajas y desventajas. En el Capítulo 2, examinamos cómo los LLMs realizan inferencias y generan texto a nivel de modelo. Este capítulo une esos fundamentos con la ingeniería de producción: cómo organizar el código y la infraestructura para construir sistemas de servicio completos tanto para escenarios de un solo modelo como de múltiples modelos.

El servicio de modelos es un campo en rápida evolución, con cientos de marcos de servicio de código abierto y soluciones comerciales disponibles. Evaluar, adoptar y personalizar la solución adecuada puede resultar abrumador rápidamente. En lugar de empezar con un marco específico, en este capítulo nos centramos en desarrollar la intuición a partir de los principios básicos. Al comprender cómo se estructuran los sistemas de servicio a un nivel fundamental, estarás mejor preparado para analizar cualquier marco o servicio gestionado.

Con ese fin, desarrollamos dos sistemas de servicio simplificados pero representativos: uno para el servicio de LLM de un solo modelo y otro para el servicio multimodelo. Estas implementaciones están simplificadas a propósito —no pretenden reemplazar marcos de producción como Triton ...