Transformers : Le guide définitif (French Edition)

Chapitre 1. Des principes fondamentaux aux transformateurs de pointe

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Depuis son introduction en 2017, l'architecture des transformateurs¹ a révolutionné le domaine du traitement du langage naturel (NLP), marquant un changement de paradigme vers des modèles capables de comprendre le langage naturel (NLU). Ce changement a été rendu possible parce que les transformateurs traitent les données séquentielles en parallèle, permettant une compréhension plus profonde et plus contextuelle du langage que ce qui était possible avec les modèles séquentiels précédents, comme les réseaux à mémoire à court et long terme (LSTM).

Ces dernières années, les transformateurs ont évolué pour avoir un impact sur un large éventail de domaines, notamment la vision par ordinateur, la reconnaissance vocale, l'apprentissage par renforcement et les opérations mathématiques, dépassant ainsi leur utilisation initiale dans le domaine du TALN. Leur adaptabilité a conduit à des avancées significatives en traduction automatique, permettant des traductions tenant compte du contexte, ainsi qu'en recherche scientifique, notamment dans la prédiction des structures protéiques avec une précision remarquable.

Parmi les développements les plus passionnants, on trouve les modèles de raisonnement, qui sont des LLMs avancés entraînés par apprentissage par renforcement pour effectuer un raisonnement ...