November 2024
Intermediate to advanced
336 pages
10h 2m
French
book
Traitement du langage naturel appliqué à l'entreprise
by Ankur A. Patel, Ajay Uppili Arasanipalai
Content preview from Traitement du langage naturel appliqué à l'entreprise
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Chapitre 7. Les transformateurs
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Dans le chapitre précédent, nous avons abordé les RNN, l'architecture de modélisation en vogue dans le domaine du NLP jusqu'à ce que l'architecture Transformer prenne de l'importance.
Les transformateurs sont le cheval de bataille de la PNL moderne. L'architecture originale, proposée pour la première fois en 2017, a pris le monde (de l'apprentissage profond) d'assaut. Depuis, la littérature sur la PNL a été inondée de toutes sortes de nouvelles architectures qui sont globalement classées soit dans les personnages de Sesame Street, soit dans les mots qui se terminent par "-former."1
Dans ce chapitre, nous examinerons en détail cette architecture - le transformateur. Nous analyserons les principales innovations et explorerons une nouvelle catégorie de couches de réseaux neuronaux en vogue : le mécanisme d'attention.
Construire un transformateur à partir de zéro
Dans les chapitres 2 et 3, nous avons exploré comment utiliser les transformateurs dans la pratique et comment tirer parti des transformateurs pré-entraînés pour résoudre des problèmes complexes de PNL. Maintenant, nous allons faire une plongée en profondeur dans l'architecture elle-même et apprendre comment les transformateurs fonctionnent à partir des premiers principes.
Que signifient les "premiers principes" ? Eh bien, pour commencer, cela signifie que nous ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.