CHAPITRE 9 Transformeurs
Objectifs du chapitre :
• Découvrir les origines de GPT, un puissant modèle de Transformer décodeur pour la génération de textes.
• Apprendre comment un mécanisme d’attention imite notre façon d’accorder plus d’importance à certains mots d’une phrase qu’à d’autres.
• Découvrir le fonctionnement du mécanisme d’attention à partir des principes de base, notamment la création et la manipulation des requêtes, des clés et des valeurs.
• Prendre en considération l’importance du masque causal pour les tâches de génération de texte.
• Comprendre comment les têtes d’attention peuvent être regroupées en une couche d’attention multi-tête.
• Voir comment les couches d’attention multi-têtes constituent une partie d’un bloc Transformer ...
Get Deep learning génératif now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
