book

Natural Language Processing mit Transformern

by Lewis Tunstall, Leandro von Werra, Thomas Wolf

January 2023

Intermediate to advanced

432 pages

13h 4m

German

dpunkt

Read now

Unlock full access

Cover
Titel
Impressum
Inhalt
Vorwort
Einführung
1 Hallo Transformer
Das Encoder-Decoder-FrameworkDer Attention-MechanismusEinsatz von Transfer Learning im NLPDie Transformers-Bibliothek von Hugging Face: die Lücke schließenDie Anwendungsmöglichkeiten von Transformern im ÜberblickTextklassifizierungNamed Entity RecognitionQuestion AnsweringAutomatische Textzusammenfassung (Summarization)Maschinelle Übersetzung (Translation)TextgenerierungDas Ökosystem von Hugging FaceDer Hugging Face HubDie Tokenizers-Bibliothek von Hugging FaceDie Datasets-Bibliothek von Hugging FaceDie Accelerate-Bibliothek von Hugging FaceDie größten Herausforderungen im Zusammenhang mit Transformer-ModellenZusammenfassung
2 Textklassifizierung
Der DatensatzEin erster Blick auf die Datasets-Bibliothek von Hugging FaceDataset-Objekte in DataFrames überführenEin Blick auf die Verteilung der KategorienWie lang sind unsere Tweets?Vom Text zu TokensTokenisierung auf der Ebene von Zeichen (Character Tokenization)Tokenisierung auf der Ebene von Wörtern (Word Tokenization)Tokenisierung auf der Ebene von Teilwörtern (Subword Tokenization)Den gesamten Datensatz tokenisierenTrainieren eines TextklassifikatorsTransformer-Modelle als Feature-ExtraktorenFeintuning von Transformer-ModellenZusammenfassung
3 Die Anatomie von Transformer-Modellen
Die Transformer-ArchitekturDer EncoderSelf-AttentionDie Feed-Forward-SchichtLayer Normalization integrierenPositional-EmbeddingsEinen Head zur Klassifizierung hinzufügenDer DecoderTransformer-Modelle im ÜberblickDie drei Entwicklungsstränge von Transformer-ModellenRein Encoder-basierte Transformer-ModelleRein Decoder-basierte Transformer-ModelleEncoder-Decoder-basierte Transformer-ModelleZusammenfassung
4 Multilinguale Named Entity Recognition
Der DatensatzMultilinguale Transformer-ModelleEin genauerer Blick auf die TokenisierungDie Tokenizer-PipelineDer SentencePiece-TokenizerTransformer-Modelle für die Named Entity RecognitionDer Aufbau der Model-Klasse der Transformers-BibliothekBodies und HeadsEin selbst definiertes Modell zur Klassifizierung von Tokens erstellenEin selbst definiertes Modell ladenTokenisierung von Texten für die Named Entity RecognitionQualitätsmaßeFeintuning eines XLM-RoBERTa-ModellsFehleranalyseSprachenübergreifender TransferWann ist ein Zero-Shot-Transfer sinnvoll?Modelle für mehrere Sprachen gleichzeitig feintunenInteraktion mit den Modell-WidgetsZusammenfassung

5 Textgenerierung
Die Herausforderungen bei der Generierung von kohärenten TextenGreedy-Search-DecodierungBeam-Search-DecodierungSampling-VerfahrenTop-k- und Nucleus-SamplingWelcher Ansatz zur Decodierung ist der beste?Zusammenfassung
6 Automatische Textzusammenfassung (Summarization)
Der CNN/DailyMail-DatensatzPipelines für die automatische TextzusammenfassungEin einfacher Ansatz zur TextzusammenfassungGPT-2T5BARTPEGASUSVerschiedene Zusammenfassungen vergleichenEvaluierung der Qualität von generierten TextenBLEUROUGEEvaluierung des PEGASUS-Modells auf dem CNN/DailyMail-DatensatzTrainieren eines Modells zur Generierung von ZusammenfassungenDas PEGASUS-Modell auf dem SAMSum-Datensatz evaluierenDas PEGASUS-Modell feintunenZusammenfassungen von Dialogen erstellenZusammenfassung
7 Question Answering
Aufbau eines rezensionsbasierten QA-SystemsDer DatensatzAntworten aus einem Text extrahierenDie Haystack-Bibliothek zum Aufbau einer QA-Pipeline verwendenVerbesserung unserer QA-PipelineDen Retriever evaluierenDen Reader evaluierenDomain AdaptationDie gesamte QA-Pipeline evaluierenJenseits des extraktiven QAZusammenfassung
8 Effizientere Transformer-Modelle für die Produktion
Die Intentionserkennung als FallstudieEine Benchmark-Klasse zur Beurteilung der Performance erstellenVerkleinerung von Modellen mithilfe der Knowledge DistillationKnowledge Distillation im Rahmen des FeintuningsKnowledge Distillation im Rahmen des PretrainingsEine Trainer-Klasse für die Knowledge Distillation erstellenEin geeignetes Modell als Ausgangspunkt für das Schüler-Modell wählenGeeignete Hyperparameter mit Optuna findenUnser destilliertes Modell im VergleichBeschleunigung von Modellen mithilfe der QuantisierungDas quantisierte Modell im VergleichOptimierung der Inferenz mit ONNX und der ONNX RuntimeErhöhung der Sparsität von Modellen mithilfe von Weight PruningSparsität tiefer neuronaler NetzeWeight-Pruning-MethodenZusammenfassung
9 Ansätze bei wenigen bis keinen Labels
Erstellung eines GitHub-Issues-TaggerDie Daten beschaffenDie Daten vorbereitenTrainingsdatensätze erstellenUnterschiedlich große Trainingsdatensätze erstellenImplementierung eines naiven Bayes-Klassifikators als BaselineAnsätze, wenn keine gelabelten Daten vorliegenAnsätze, wenn nur wenige gelabelte Daten zur Verfügung stehenDatenaugmentierungEmbeddings als Nachschlagetabelle verwendenEin standardmäßiges Transformer-Modell feintunenIn-Context- und Few-Shot-Learning auf Basis von PromptsUngelabelte Daten nutzbar machenEin Sprachmodell feintunenEinen Klassifikator feintunenFortgeschrittene MethodenZusammenfassung
10 Transformer-Modelle von Grund auf trainieren
Große Datensätze und wie sie beschafft werden könnenHerausforderungen beim Aufbau eines großen KorpusEinen eigenen Codedatensatz erstellenMit großen Datensätzen arbeitenDatensätze zum Hugging Face Hub hinzufügenErstellung eines TokenizersDas Tokenizer-ModellDie Leistung eines Tokenizers beurteilenEin Tokenizer für die Programmiersprache PythonEinen Tokenizer trainierenEinen selbst erstellten Tokenizer auf dem Hub speichernEin Modell von Grund auf trainierenVerschiedene Pretraining-Objectives im ÜberblickDas Modell initialisierenDen Dataloader implementierenDie Trainingsschleife einrichtenDer TrainingslaufErgebnisse und AnalyseZusammenfassung
11 Künftige Herausforderungen
Skalierung von Transformer-ModellenSkalierungsgesetzeHerausforderungen bei der SkalierungAttention Please! – Den Attention-Mechanismus effizienter gestaltenSparse-AttentionLinearisierte AttentionJenseits von TextdatenComputer VisionTabellenMultimodale TransformerSpeech-to-TextComputer Vision und TextWie geht es weiter?
Fußnoten
Index
Über den Autor
Kolophon

Overview

Transformer haben sich seit ihrer Einführung nahezu über Nacht zur vorherrschenden Architektur im Natural Language Processing entwickelt. Sie liefern die besten Ergebnisse für eine Vielzahl von Aufgaben bei der maschinellen Sprachverarbeitung. Wenn Sie Data Scientist oder Programmierer sind, zeigt Ihnen dieses praktische Buch, wie Sie NLP-Modelle mit Hugging Face Transformers, einer Python-basierten Deep-Learning-Bibliothek, trainieren und skalieren können.

Transformer kommen beispielsweise beim maschinellen Schreiben von Nachrichtenartikeln zum Einsatz, bei der Verbesserung von Google-Suchanfragen oder bei Chatbots. In diesem Handbuch zeigen Ihnen Lewis Tunstall, Leandro von Werra und Thomas Wolf, die auch die Transformers-Bibliothek von Hugging Face mitentwickelt haben, anhand eines praktischen Ansatzes, wie Transformer-basierte Modelle funktionieren und wie Sie sie in Ihre Anwendungen integrieren können. Sie werden schnell eine Vielzahl von Aufgaben wie Textklassifikation, Named Entity Recognition oder Question Answering kennenlernen, die Sie mit ihnen lösen können.

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9781098157081

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills