Conception d'applications de modèles de langage de grande taille

Chapitre 2. Données de pré-entraînement

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Au chapitre 1, nous avons présenté les modèles de langage, noté leurs forces et leurs limites, exploré les cas d'utilisation actuels et potentiels, et présenté les lois de mise à l'échelle qui semblent régir les progrès dans ce domaine. Pour préparer le terrain pour le reste de ce livre, nous allons, dans les trois chapitres suivants, discuter en détail de la recette du pré-entraînement des LLMs et des ingrédients qui entrent dans leur composition. Mais attends, ce livre traite de l'utilisation des LLMs pré-entraînés pour concevoir et réaliser des applications utilisateur. Pourquoi avons-nous besoin de discuter des nuances du pré-entraînement de ces modèles gargantuesques à partir de zéro, ce que la plupart des praticiens de l'apprentissage automatique ne feront jamais de leur vie ?

En fait, cette information est très importante parce que de nombreuses décisions prises pendant le processus de préformation ont un impact considérable sur les performances en aval. Comme nous le remarquerons dans les chapitres suivants, les modes d'échec sont plus facilement compréhensibles lorsque tu comprends le processus de formation. Tout comme nous apprécions que les ingrédients soient indiqués sur les emballages dans nos épiceries, nous aimerions connaître les ingrédients qui entrent dans la fabrication d'un modèle de langage ...