
292
Chapitre 8. Traitement automatique du langage naturel avec les RNR et les attentions
notre exploration des RNR (introduits au chapitre7), en commençant par un RNR
à caractères entraîné à prédire le caractère suivant dans une phrase. Cela nous per-
mettra de générer du texte original et nous en proterons pour expliquer comment
construire un dataset TensorFlow sur une très longue séquence. Nous emploierons
tout d’abord un RNR sans état (qui apprend à partir de portions aléatoires d’un texte
à chaque itération, sans aucune information sur le reste du texte), puis nous construi
-
rons un RNR avec état (qui conserve l’état caché entre des itérations ...