Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Capítulo 2. La brecha de las evaluaciones

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

No importa lo bonita que sea tu teoría, no importa lo inteligente que seas. Si no concuerda con el experimento, está mal.

Richard Feynman

La llegada de los LLMs y la rápida adopción posterior de los LLMBA marcan un cambio crucial en el panorama del desarrollo, las pruebas y la verificación de software. A diferencia de los sistemas de software tradicionales, donde los resultados determinísticos son la norma, los LLMs y los LLMBA introducen un ámbito e e de comportamientos no determinísticos y generativos que desafían los paradigmas convencionales de la ingeniería de software para la evaluación. 

Este cambio no es solo una evolución técnica, sino una transformación fundamental en cómo concebimos, construimos y evaluamos las aplicaciones empresariales. Por eso, seguir anclados en marcos de pruebas tradicionales que no tienen en cuenta la naturaleza probabilística de los LLMs y los LLMBA conllevará inevitablemente riesgos importantes.

Este capítulo explora técnicas para salvar la «brecha de evaluación» entre los enfoques tradicionales de pruebas de software y los requisitos únicos de los LLMs y los LLMBA, y se desarrolla de la siguiente manera.

Primero, hablamos de la naturaleza no determinista de los LLMs, cómo se traslada a los LLMBA y cómo podemos observarla. A partir de ahí, nos sumergimos en cómo construir nuestros propios ...