Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Capítulo 3. Herramientasde evaluación para aplicaciones basadas en LLM

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Damos forma a nuestras herramientas y, a partir de ahí, nuestras herramientas nos dan forma a nosotros.

P. John Culkin (a menudo atribuido a Marshall McLuhan)

Pasemos a tres herramientas que nos ayudan a escalar nuestro trabajo de evaluación: LangSmith, Promptfoo y LightEval. LangSmith facilita escalar y realizar el monitoreo de los flujos de trabajo que vimos en el Capítulo 2. Promptfoo toma ese concepto de escala y lo hace fácil de aplicar en todo el mundo de las indicaciones. LightEval, desarrollado por Hugging Face, nos lleva a la evaluación de modelos al estilo de los benchmarks a través de tareas estandarizadas. Al final del capítulo, tendremos una buena comprensión de cómo escalar las evaluaciones de modelos, prompts y benchmarks. De estas tres herramientas, Promptfoo y LightEval son de código abierto, mientras que LangSmith no lo es. Aunque este libro da prioridad a las herramientas de código abierto, incluimos LangSmith porque se usa ampliamente en la práctica y ofrece un punto de comparación útil con las alternativas de código abierto.

LangSmith

LangSmith es un marco de trabajo para desarrolladores que ofrece herramientas completas para crear, probar, realizar monitoreo y evaluar LLMs y LLMBA. Permite a los equipos hacer un seguimiento del rendimiento de los modelos, identificar ...