Modèles de langage à grande échelle pratiques

Chapitre 11. Affiner les modèles de représentation pour la classification

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Au chapitre 4, nous avons utilisé des modèles pré-entraînés pour classer notre texte. Nous avons conservé les modèles pré-entraînés tels quels, sans les modifier. Tu peux donc te demander ce qui se passerait si nous les affinions.

Si nous disposons de suffisamment de données, le réglage fin tend à conduire à certains des modèles les plus performants possibles. Dans ce chapitre, nous allons passer en revue plusieurs méthodes et applications permettant d'affiner les modèles d'ERTG. Le chapitre "Classification supervisée" présente le processus général de mise au point d'un modèle de classification. Ensuite, dans "Few-Shot Classification", nous examinons SetFit, qui est une méthode permettant d'affiner efficacement un modèle très performant en utilisant un petit nombre d'exemples de formation. Dans "Pré-entraînement continu avec la modélisation du langage masqué", nous étudierons comment poursuivre l'entraînement d'un modèle pré-entraîné. Enfin, la classification au niveau des jetons est étudiée dans "Reconnaissance des entités nommées".

Nous nous concentrerons sur les tâches non génératives, car les modèles génératifs seront abordés au chapitre 12.

Classification supervisée

Au chapitre 4, nous avons exploré les tâches de classification supervisée en tirant parti de modèles de représentation ...