Programmation de PyTorch pour l'apprentissage profond

Chapitre 5. Classification des textes

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Laissons les images de côté pour l'instant et intéressons-nous à un autre domaine dans lequel l'apprentissage profond s'est révélé être une avancée significative par rapport aux techniques traditionnelles : le traitement du langage naturel (NLP). Google Translate en est un bon exemple. À l'origine, le code qui gérait la traduction représentait un poids de 500 000 lignes de code. Le nouveau système, basé sur TensorFlow, en compte environ 500, et il est plus performant que l'ancienne méthode.

Des percées récentes ont également été réalisées dans l'application de l'apprentissage par transfert (dont tu as entendu parler au chapitre 4) aux problèmes de NLP. De nouvelles architectures telles que l'architecture Transformer ont conduit à la création de réseaux comme le GPT-2 d'OpenAI, dont la variante la plus grande produit un texte d'une qualité presque humaine (en fait, OpenAI n'a pas publié les poids de ce modèle de peur qu'il ne soit utilisé à des fins malveillantes).

Ce chapitre fait un tour d'horizon des réseaux neuronaux récurrents et des embeddings. Nous explorons ensuite la bibliothèque torchtext et son utilisation pour le traitement de texte avec un modèle basé sur les LSTM.

Réseaux neuronaux récurrents

Si nous regardons comment nous avons utilisé nos architectures basées sur le CNN jusqu'à présent, nous pouvons ...