Chapitre 5. Explicabilité des données textuelles
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Les modèles de langage jouent un rôle central dans les cas d'utilisation modernes du Deep Learning et le domaine du traitement du langage naturel (NLP) a progressé rapidement, en particulier au cours des dernières années. Le NLP se concentre sur la compréhension du fonctionnement du langage humain et est au cœur d'applications telles que la traduction automatique, la recherche d'informations, l'analyse des sentiments, le résumé de texte et la réponse aux questions. Les modèles construits pour ces applications s'appuient sur des données textuelles pour comprendre le fonctionnement du langage humain, et bon nombre des architectures de Deep Learning couramment utilisées aujourd'hui, comme les LSTM (mémoire à long terme), l'attention et les réseaux de transformation, ont été développées spécifiquement pour gérer les nuances et les difficultés qui surviennent lorsqu'on travaille avec du texte.
L'architecture des transformateurs, présentée dans l'article "L'attention est tout ce dont tu as besoin", est peut-être la plus importante de ces avancées.1 Les transformateurs s'appuient sur le mécanisme de l'attention et sont particulièrement bien équipés pour traiter les données textuelles séquentielles. Cela est dû en partie à leur efficacité informatique et au fait qu'ils sont mieux à même de conserver le contexte ...