book

Traitement du langage naturel avec les transformateurs, édition révisée

by Lewis Tunstall, Leandro von Werra, Thomas Wolf

November 2024

Intermediate to advanced

408 pages

12h 35m

French

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

À qui s'adresse ce livre ?Ce que tu apprendrasExigences en matière de logiciels et de matérielConventions utilisées dans ce livreUtiliser des exemples de codeApprentissage en ligne O'ReillyComment nous contacterRemerciementsLewisLeandroThomas
Le cadre du codeur-décodeurMécanismes de l'attentionApprentissage par transfert dans la PNLTransformateurs de visages câlins : Combler le fosséUn tour d'horizon des applications des transformateursClassification des textesReconnaissance des entités nomméesRéponse aux questionsRésuméTraductionGénération de texteL'écosystème du visage étreintLe carrefour des visages câlinsTokéniseurs de visages étreintsJeux de données sur les visages étreintsAccélérer l'étreinte du visagePrincipaux défis posés par les transformateursConclusion
L'ensemble des donnéesPremier aperçu des ensembles de données sur les visages étreintsDes ensembles de données aux cadres de donnéesRegarder la répartition des classesQuelle est la longueur de nos tweets ?Du texte aux jetonsTokenisation des caractèresTokenisation des motsTokenisation des sous-motsTokenisation de l'ensemble des donnéesFormation d'un classificateur de texteLes transformateurs en tant qu'extracteurs de caractéristiquesTransformateurs de précisionConclusion
L'architecture du transformateurL'encodeurL'attention à soiLa couche d'alimentationAjout de la normalisation des couchesEmboîtements positionnelsAjout d'une tête de classificationLe décodeurRencontre les transformateursL'arbre de vie des transformateursLa branche des encodeursLa branche des décodeursLa branche Encodeur-DécodeurConclusion
L'ensemble des donnéesTransformateurs multilinguesRegarder de plus près la tokenisationLe pipeline du tokenizerLe tokenizer SentencePieceTransformateurs pour la reconnaissance des entités nomméesL'anatomie de la classe de modèles TransformersCorps et têtesCréation d'un modèle personnalisé pour la classification des jetonsChargement d'un modèle personnaliséTokenisation des textes pour la NERMesures du rendementMise au point de XLM-RoBERTaAnalyse des erreursTransfert interlinguistiqueQuand est-ce que le transfert à partir d'un point zéro a du sens ?Mise au point sur plusieurs langues à la foisInteragir avec les widgets du modèleConclusion
Le défi de la génération d'un texte cohérentDécodage par recherche avideDécodage de la recherche de faisceauxMéthodes d'échantillonnageÉchantillonnage Top-k et NucleusQuelle est la meilleure méthode de décodage ?Conclusion
L'ensemble de données CNN/DailyMailPipelines de résumé de texteRésumé RéférenceGPT-2T5BARTPEGASUSComparer différents résumésMesurer la qualité du texte généréBLEUROUGEÉvaluation de PEGASUS sur l'ensemble de données CNN/DailyMailFormation d'un modèle de résuméÉvaluation de PEGASUS sur SAMSumMise au point de PEGASUSGénérer des résumés de dialogueConclusion
Construire un système d'assurance qualité basé sur l'examenL'ensemble des donnéesExtraire des réponses d'un texteUtiliser Haystack pour construire un pipeline d'assurance qualitéAméliorer notre pipeline d'assurance qualitéÉvaluer le retrieverÉvaluer le lecteurAdaptation du domaineÉvaluer l'ensemble de la chaîne d'assurance qualitéGoing Beyond Extractive QA (Aller au-delà de l'assurance qualité en matière d'extraction)Conclusion
La détection des intentions comme étude de casCréation d'un repère de performanceRendre les modèles plus petits grâce à la distillation des connaissancesDistillation des connaissances pour un réglage finDistillation des connaissances pour la préformationCréation d'un formateur en distillation des connaissancesChoisir une bonne initialisation de l'élèveTrouver de bons hyperparamètres avec OptunaAnalyse comparative de notre modèle distilléRendre les modèles plus rapides grâce à la quantificationAnalyse comparative de notre modèle quantifiéOptimiser l'inférence avec ONNX et le Runtime ONNXRendre les modèles plus sobres grâce à l'élagage des poidsLa sparité dans les réseaux neuronaux profonds.Méthodes d'élagage du poidsConclusion

Construire un outil d'étiquetage des problèmes GitHubObtenir les donnéesPréparation des donnéesCréation d'ensembles de formationCréer des tranches de formationMise en œuvre d'une ligne de Bayes naïveTravailler avec des données non étiquetéesTravailler avec quelques étiquettesAugmentation des donnéesUtiliser les embeddings comme une table de rechercheMise au point d'un transformateur à la vanilleApprentissage en contexte et en quelques clics avec des prompts.Exploiter les données non étiquetéesAffiner un modèle linguistiqueAffiner un classificateurMéthodes avancéesConclusion
Les grands ensembles de données et où les trouverDéfis liés à la constitution d'un corpus à grande échelleCréation d'un ensemble de données sur les codes personnalisésTravailler avec de grands ensembles de donnéesAjout d'ensembles de données au carrefour des visages étreintsConstruire un tokenizerLe modèle du tokenizerMesurer la performance du tokenizerUn tokenizer pour PythonFormation d'un tokenizerEnregistrement d'un tokenizer personnalisé sur le HubFormer un modèle à partir de zéroUne histoire d'objectifs de préformationInitialisation du modèleImplémentation du DataloaderDéfinir la boucle de formationLa course d'entraînementRésultats et analyseConclusion
Transformateurs de mise à l'échelleLois d'échelleLes défis de la mise à l'échelleAttention, s'il te plaît !Attention éparseAttention linéariséeAller au-delà du texteVisionTablesTransformateurs multimodauxDe la parole au texteVision et texteQue faire à partir d'ici ?

Content preview from Traitement du langage naturel avec les transformateurs, édition révisée

À propos des auteurs

Lewis Tunstall est ingénieur en apprentissage automatique chez Hugging Face. Il a construit des applications d'apprentissage automatique pour des startups et des entreprises dans les domaines du NLP, de l'analyse de données topologiques et des séries temporelles. Lewis est titulaire d'un doctorat en physique théorique et a occupé des postes de recherche en Australie, aux États-Unis et en Suisse. Son travail actuel se concentre sur le développement d'outils pour la communauté NLP et sur l'apprentissage d'une utilisation efficace de ces outils.

Leandro von Werra est ingénieur en apprentissage automatique dans l'équipe open source de Hugging Face. Il a plusieurs années d'expérience dans l'industrie pour amener des projets NLP à la production en travaillant sur l'ensemble de la pile d'apprentissage automatique, et il est le créateur d'une bibliothèque Python populaire appelée TRL, qui combine les transformateurs avec l'apprentissage par renforcement.

Thomas Wolf est directeur scientifique et cofondateur de Hugging Face. Son équipe a pour mission de catalyser et de démocratiser la recherche sur la PNL. Avant de cofonder Hugging Face, Thomas a obtenu un doctorat en physique, puis un diplôme de droit. Il a travaillé comme chercheur en physique et comme mandataire en brevets européens.