Traitement du langage naturel appliqué à l'entreprise

Chapitre 8. BERTologie : La mise en place de l'ensemble

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Ensemble, nous avons parcouru un long chemin depuis que nous avons commencé à bricoler avec spacy au chapitre 1. Nous avons commencé par résoudre les problèmes de TAL les plus courants à l'aide de l'équivalent du repas au micro-ondes des bibliothèques de Deep Learning, puis nous sommes passés aux détails de bas niveau, notamment la tokenisation et les embeddings. En cours de route, nous avons abordé les réseaux récurrents, notamment les RNN, les LSTM et les GRU, ainsi que l'architecture Transformer et les mécanismes d'attention.

Ce chapitre, à bien des égards, est le grand final. Nous allons relier toutes les pièces du puzzle et retracer les étapes qui ont conduit à ce que l'on appelle le moment ImageNet en 2018, qui a depuis donné lieu à une vague d'excitation concernant les applications commerciales potentielles de ces avancées dans le domaine du NLP. Nous aborderons également certaines de ces possibilités. Commençons.

ImageNet

Cela vaut la peine de prendre un moment pour clarifier ce que nous entendons par "moment ImageNet". ImageNet est un ensemble de données de vision par ordinateur qui a été publié à l'origine en 2009. Il est devenu une référence pour les progrès réalisés en matière de classification d'images, une tâche essentielle de la vision par ordinateur, et a donné naissance à un ...