Traitement du langage naturel avec les transformateurs, édition révisée

Chapitre 10. Former des transformateurs à partir de rien

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans le paragraphe d'ouverture de ce livre, nous avons mentionné une application sophistiquée appelée GitHub Copilot qui utilise des transformateurs de type GPT pour effectuer l'autocomplétion du code, une fonctionnalité particulièrement utile lors de la programmation dans un nouveau langage ou framework ou de l'apprentissage du code, ou pour produire automatiquement du code passe-partout. TabNine etKite sont d'autres produits qui utilisent des modèles d'intelligence artificielle à cette fin. Plus tard, au chapitre 5, nous avons examiné de plus près la façon dont nous pouvons utiliser les modèles GPT pour générer des textes de haute qualité. Dans ce chapitre, nous allons boucler la boucle et construire notre propre modèle de type GPT pour générer du code source Python ! Nous appelons le modèle résultant CodeParrot.

Jusqu'à présent, nous avons surtout travaillé sur des applications où la quantité de données de formation étiquetées est limitée. Dans ces cas, l'apprentissage par transfert nous a aidés à construire des modèles performants. Nous avons poussé l'apprentissage par transfert jusqu'à ses limites dans le chapitre 9, où nous n'avons pratiquement pas utilisé de données de formation.

Dans ce chapitre, nous allons passer à l'autre extrême et examiner ce que nous pouvons faire lorsque nous sommes ...