Traitement du langage naturel appliqué à l'entreprise

Chapitre 2. Transformateurs et apprentissage par transfert

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Maintenant que tu as été initié au domaine du traitement du langage naturel, il y a quelque chose d'important que tu dois comprendre. Il n'y a en fait pas un très long chemin à parcourir entre le point de départ et l'état de l'art.

À terme , nous reviendrons aux bases, nous discuterons des principes fondamentaux et nous comprendrons tous les détails, bien sûr. Mais nous allons te montrer la terre promise avant de nous aventurer dans le long et difficile voyage pour y arriver.

L'une des idées les plus importantes à mettre en œuvre si tu veux faire fonctionner l'apprentissage profond dans le monde réel est l'apprentissage par transfert, qui consiste à prendre un modèle qui a déjà été formé sur un autre ensemble de données et à le peaufiner pour l'adapter à ton nouvel ensemble de données. Par exemple, si tu entraînes un modèle de langage pour générer des nouvelles captivantes dans le style d'Hemingway, tu pourrais affiner un modèle entraîné sur une grande variété de livres au lieu de l'entraîner uniquement sur les échantillons de texte d'Hemingway, qui ne sont pas forcément très nombreux.

Une analogie intéressante dans la programmation orientée objet est le concept d'héritage dans les classes. Supposons que nous créions une sorte de jeu vidéo de gestion de zoo, où chaque animal est représenté ...