Capítulo 11. Canalizacionesde inferencia
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Las canalizaciones de inferencia definen el tipo de sistema de IA que estás creando. Las canalizaciones de inferencia por lotes son sistemas de IA por lotes, las canalizaciones de inferencia en línea son sistemas de IA en tiempo real y los flujos de trabajo agenticos son sistemas de IA basados en LLM. Una canalización de inferencia es un programa que adquiere datos de inferencia, aplica transformaciones a los datos de entrada para producir uno o más vectores de características y, a continuación, alimenta el vector o vectores de características a uno o más modelos que generan predicciones. Las canalizaciones de inferencia pueden ser desde un programa por lotes/streaming/integrado, hasta un servicio de red con SLO, pasando por un agente que utiliza LLMs y herramientas para alcanzar un objetivo. Las canalizaciones de inferencia registran sus entradas y salidas para que puedas realizar un monitoreo y depurar su rendimiento.
En este capítulo se tratan los retos que plantea la escritura de programas de inferencia por lotes, en línea, integrados y en streaming. Los agentes y los flujos de trabajo LLM se tratan en el capítulo 12. Aprenderás a diseñar canalizaciones de inferencia por lotes y a escalarlas con PySpark. Aprenderás a escribir canalizaciones de inferencia en línea que recuperan el contexto/historial del almacén de características ...