Les grands modèles linguistiques : Les parties difficiles (French Edition)

Avant-propos

En 2024, on a commencé à travailler sur notre premier programme GenAI chez Code.org. On avait un objectif ambitieux : au lieu de simplement présenter ChatGPT (ou une interface qui intégrait ChatGPT) aux élèves du primaire et du secondaire, on voulait développer un petit modèle linguistique avec lequel ils pourraient expérimenter plus directement.

On pensait que cette approche présenterait plusieurs avantages. D'abord, on estimait qu'un modèle plus petit et open source nous donnerait plus de contrôle sur l'hébergement, les tarifs et les versions du modèle. On pensait aussi qu'un modèle plus petit aurait des hallucinations plus fréquentes. Même si ça peut sembler une exigence bizarre, les hallucinations fréquentes offrent des opportunités pédagogiques uniques en classe. Enfin, on imaginait un monde où les élèves pourraient apprendre à affiner ces modèles en utilisant leurs propres données d'entraînement.

Cette approche consistant à utiliser de petits modèles linguistiques n’était toutefois pas sans défis. En raison des hallucinations fréquentes, on a dû fixer un niveau de sécurité élevé pour les élèves, en mettant en place des mesures de protection similaires à celles disponibles avec les modèles de pointe. On voulait aussi évaluer avec précision nos petits modèles pour éviter toute régression par rapport aux objectifs d’apprentissage qu’on avait définis dans le programme. Enfin, on voulait créer un cadre permettant d’implémenter bon nombre des fonctionnalités présentes ...