Les grands modèles linguistiques : Les parties difficiles (French Edition)

Chapitre 2. Le fossé des évaluations

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Peu importe la beauté de ta théorie, peu importe que tu sois intelligent. Si elle ne correspond pas à l’expérience, elle est fausse.

Richard Feynman

L'arrivée des LLMs et l'adoption rapide des LLMBA qui a suivi marquent un tournant décisif dans le paysage du développement, des tests et de la vérification des logiciels. Contrairement aux systèmes logiciels traditionnels, où les résultats déterministes sont la norme, les LLMs et les LLMBA introduisent un domaine d's de comportements non déterministes et génératifs qui remettent en question les paradigmes conventionnels de l'ingénierie logicielle en matière d'évaluation. 

Ce changement n'est pas seulement une évolution technique, mais une transformation fondamentale de la façon dont on conçoit, construit et évalue les applications métier. C'est pourquoi s'en tenir aux cadres de test traditionnels qui ne tiennent pas compte de la nature probabiliste des LLMs et des LLMBA entraînera inévitablement des risques importants.

Ce chapitre explore des techniques pour combler le « fossé d'évaluation » entre les approches traditionnelles de test logiciel et les exigences spécifiques des LLMs et des LLMBA, et se déroule comme suit.

Tout d’abord, on aborde la nature non déterministe des LLMs, comment ça se répercute sur les LLMBA, et comment on peut l’observer. À partir de là, ...