Les grands modèles linguistiques : Les parties difficiles (French Edition)

Chapitre 5. Sortie de donnéesstructurées

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans les limites, il y a de la liberté. La créativité s'épanouit au sein de la structure.

Julia B. Cameron

Si les LLMs excellent dans la génération de texte, il reste difficile d’obtenir une sortie structurée respectant des règles strictes, comme un « oui » ou un « non » binaire ou un JSON cohérent. Le problème principal vient de la façon dont les LLMs produisent leur sortie token par token, chaque token étant échantillonné à partir d’une distribution de probabilité couvrant l’ensemble du vocabulaire du modèle. Même si un modèle suit les instructions de formatage JSON avec une fiabilité de 99 % par token, ce petit risque d’erreur s’accumule sur l’ensemble des tokens d’une réponse.

L'ingénierie de prompt traditionnelle qui demande une réponse au format JSON est la solution la moins coûteuse à ce problème, mais elle n'est pas parfaite. Utiliser un prompt pour demander une sortie JSON impose des contraintes à un LLM, et celui-ci ne les respectera pas toujours. Ce problème de fiabilité devient gênant lorsqu'on intègre des LLMs dans des applications de production. Cela a conduit au développement de techniques de génération contrainte (CGT) capables de garantir une sortie structurellement valide.

Les CGT résolvent ce problème en modifiant l'endroit où le contrôle est appliqué. Au lieu de prompt au LLM dans le cadre ...