Les grands modèles linguistiques : Les parties difficiles (French Edition)

Chapitre 9. Épilogue : les LLMBA à l'ère de la baisse des coûts

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

À Rome, tout a un prix.

Juvénal

Tout au long de cet ouvrage, on a abordé les fondements techniques de la création, de l’évaluation et du déploiement responsables des LLMBA — du choix des bons modèles et de la conception de prompts efficaces à la mise en œuvre de sorties structurées et de systèmes RAG, en passant par la mesure des performances à l’aide de benchmarks comme SALAD-Bench et TruthfulQA, ainsi que l’alignement des modèles via le DPO et leur protection par des garde-fous. Ce sont ces compétences qui nous permettent aujourd’hui de créer des LLMBA en production. Mais il y a une tendance macro qui sous-tend tout ce dont on a parlé et qui va redéfinir ce à quoi ce travail ressemblera demain : les coûts d’inférence s’effondrent à un rythme stupéfiant. Lorsque l’équipe d’a16z a analysé cette tendance mi-2024, elle a constaté une baisse annuelle des coûts multipliée par 10. Début 2025, ce rythme s’était accéléré pour atteindre une baisse de 50 à 200 fois par an pour des niveaux de performance équivalents.

Cette chute des coûts modifie le coût marginal de l’intelligence. Les décisions de conception impliquent toujours des compromis entre coûts et avantages, mais l’équilibre change : les évaluations qui semblaient autrefois trop coûteuses pour être menées à grande échelle, les contrôles ...