Les grands modèles linguistiques : Les parties difficiles (French Edition)
by Thársis T. P. Souza, Jonathan K. Regenstein
Chapitre 3. Outilsd'évaluation pour les applications basées sur les LLM
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
On façonne nos outils et par la suite nos outils nous façonnent.
Père John Culkin (souvent attribué à Marshall McLuhan)
Passons maintenant à trois outils qui nous aident à faire évoluer notre travail d'évaluation : LangSmith, Promptfoo et LightEval. LangSmith facilite l'évolution et la surveillance des pipelines que nous avons abordés au chapitre 2. Promptfoo reprend ce concept d'évolutivité et le rend facile à appliquer à l'ensemble du domaine des prompts. LightEval, développé par Hugging Face, nous plonge dans l’évaluation de modèles de type benchmark à travers des tâches standardisées. À la fin de ce chapitre, tu auras une bonne maîtrise de la mise à l’échelle des évaluations de modèles, de prompts et de benchmarks. Parmi ces trois outils, Promptfoo et LightEval sont open source, contrairement à LangSmith. Bien que ce livre privilégie les outils open source, on inclut LangSmith car il est largement utilisé dans la pratique et offre un point de comparaison utile avec les alternatives open source.
LangSmith
LangSmith est un framework de développement qui fournit des outils complets pour créer, tester, surveiller et évaluer les LLMs et les LLMBA. Il permet aux équipes de suivre les performances des modèles, d’identifier les problèmes en production et d’améliorer en continu les ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access