Chapter 10. Monitoreo en producción
Ya seas propietario de producto, ingeniero de aprendizaje automático (ML) o ingeniero de confiabilidad del sitio (SRE), una vez que los agentes llegan a producción, necesitas ver qué están haciendo y por qué. Lanzar sistemas basados en agentes es solo la mitad del camino. El verdadero desafío comienza una vez que tus agentes operan en entornos dinámicos, impredecibles y de alto riesgo. El monitoreo es la forma en que aprendes de la realidad: cómo detectas fallas antes de que se agraven, identificas regresiones antes de que los usuarios las noten y adaptas los sistemas en respuesta a señales del mundo real.
A diferencia del software tradicional, los agentes se comportan de manera probabilística. Dependen de modelos base, encadenan herramientas y responden a entradas ilimitadas de los usuarios. No puedes escribir pruebas exhaustivas para cada escenario. Por eso, el monitoreo se convierte en el sistema nervioso de tu infraestructura de agentes implementada.
El monitoreo no se trata solo de detectar problemas. Es la columna vertebral de un ciclo de retroalimentación cerrado que acelera el aprendizaje y la iteración. Los equipos que realizan el monitoreo de forma adecuada aprenden más rápido, lanzan versiones de forma más segura y mejoran la confiabilidad con cada implementación.
En este capítulo, nos enfocamos en el monitoreo de código abierto. Aunque existen excelentes plataformas comerciales como Arize AX, Langfuse y WhyLabs, aquí nos concentraremos ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access