Ingénierie prompte pour LLMs

Chapitre 10. Évaluer les candidatures au LLM

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

GitHub Copilot est sans doute la première application à l'échelle industrielle utilisant les LLMs. La malédiction d'être le premier est que certains des choix que vous ferez vous sembleront idiots avec le recul, volant en éclats de rire face à ce que (désormais) tout le monde sait.

Mais l'une des choses que nous avons absolument réussies, c'est la façon dont nous avons commencé. La partie la plus ancienne de la base de code de Copilot n'est pas le proxy, ni les prompteurs, ni l'interface utilisateur, ni même le modèle de base qui configure l'application en tant qu'extension de l'IDE. Le tout premier morceau de code que nous avons écrit était l'évaluation, et c'est seulement grâce à cela que nous avons pu avancer si vite et avec tant de succès avec le reste. En effet, pour chaque changement que nous avons effectué, nous avons pu vérifier directement s'il s'agissait d'un pas dans la bonne direction, d'une erreur ou d'une bonne tentative qui n'a tout simplement pas eu beaucoup d'impact. Et c'est là le principal avantage d'un cadre d'évaluation pour ta candidature au LLM : il guidera tous les développements futurs.

En fonction de ton application et de la position de ton projet dans son cycle de vie, différents types d'évaluation peuvent être disponibles et appropriés. Les deux grandes catégories sont l'évaluation ...