Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Capítulo 5. Salida de datosestructurados

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En los límites hay libertad. La creatividad prospera dentro de la estructura.

Julia B. Cameron

Aunque los LLMs son excelentes para generar texto, sigue siendo difícil obtener una salida estructurada que cumpla con reglas estrictas, como un «sí» o «no» binario o un JSON consistente. El problema principal viene de la forma en que los LLMs producen la salida token por token, con cada token muestreado de una distribución de probabilidad en todo el vocabulario del modelo. Incluso si un modelo sigue las instrucciones de formato JSON con un 99 % de fiabilidad por token, esta pequeña probabilidad de error se acumula en todos los tokens de una respuesta.

La ingeniería de prompts tradicional que pide una respuesta en formato JSON es la solución más económica para este problema, pero no es perfecta. Usar un prompt para pedir una salida JSON impone restricciones a un LLM, y es posible que el LLM no siempre siga esas restricciones. Este problema de fiabilidad se vuelve problemático al integrar LLMs en aplicaciones de producción. Esto ha impulsado el desarrollo de técnicas de generación restringida (CGT) que pueden garantizar una salida estructuralmente válida.

Las CGT resuelven este problema cambiando dónde se aplica el control. En lugar de promptear a un LLM como parte de la consulta, lo cual es similar a dar instrucciones estrictas, ...