Modèles de langage à grande échelle pratiques

Chapitre 12. Mise au point des modèles de génération

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans ce chapitre, nous allons prendre un modèle de génération de texte pré-entraîné et passer en revue le processus de mise au point. Cette étape de réglage fin est essentielle pour produire des modèles de haute qualité et constitue un outil important dans notre boîte à outils pour adapter un modèle à un comportement spécifique souhaité. Le réglage fin nous permet d'adapter un modèle à un ensemble de données ou à un domaine spécifique.

Tout au long de ce chapitre, nous te guiderons parmi les deux méthodes les plus courantes pour affiner les modèles de génération de texte, l'affinage supervisé et l'ajustement des préférences. Nous explorerons le potentiel de transformation du réglage fin des modèles de génération de texte pré-entraînés afin d'en faire des outils plus efficaces pour ton application.

Les trois étapes de la formation LLM : Pré-entraînement, mise au point supervisée et mise au point des préférences

Il y a trois étapes communes qui mènent à la création d'un LLM de haute qualité :

1. Modélisation du langage

La première étape de la création d'un LLM de haute qualité consiste à le pré-entraîner sur un ou plusieurs ensembles de données textuelles massives(figure 12-1). Pendant l'entraînement, il tente de prédire le prochain jeton afin d'apprendre avec précision les représentations linguistiques ...