L'IA générative pratique avec les transformateurs et les modèles de diffusion

Chapitre 6. Affiner les modèles linguistiques

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Au chapitre 2, nous avons exploré le fonctionnement des LM et la façon de les utiliser pour des tâches telles que la génération de textes et la classification de séquences. Nous avons vu que les LM pouvaient être utiles dans de nombreuses tâches sans entraînement supplémentaire, grâce à un prompt approprié et aux capacités de zéro-coup de ces modèles. Nous avons également exploré quelques-uns des centaines de milliers de modèles pré-entraînés par la communauté. Dans ce chapitre, nous verrons comment nous pouvons améliorer les performances des LM sur des tâches spécifiques en les affinant sur nos données.

Bien que les modèles préformés présentent des capacités remarquables, leur formation générale peut ne pas être adaptée à certaines tâches ou à certains domaines. Le réglage fin est fréquemment utilisé pour adapter la compréhension du modèle aux nuances de l'ensemble de données ou de la tâche. Par exemple, dans le domaine de la recherche médicale, un LM formé sur du texte web général ne sera pas très performant. Nous pouvons donc l'affiner sur un ensemble de données de littérature médicale afin d'améliorer sa capacité à générer du texte médical pertinent ou à aider à l'extraction d'informations à partir de documents de santé. Un autre exemple concerne la création de modèles conversationnels. Bien que les ...