book

Praktisches maschinelles Lernen mit Scikit-Learn und PyTorch

by Aurélien Géron

October 2025

Intermediate to advanced

878 pages

29h 18m

German

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Maschinelles Lernen in deinen ProjektenZielsetzung und AnsatzCode-BeispieleVoraussetzungenRoadmapÄnderungen zwischen den TensorFlow- und PyTorch-VersionenAndere RessourcenIn diesem Buch verwendete KonventionenO'Reilly Online LernenKontaktaufnahme mit unsDanksagungen
Was ist maschinelles Lernen?Warum maschinelles Lernen?Beispiele für AnwendungenArten von maschinellen LernsystemenÜberwachung des TrainingsBatch- versus Online-LernenInstanzbasiertes versus modellbasiertes LernenDie wichtigsten Herausforderungen des maschinellen LernensUnzureichende Menge an TrainingsdatenUnrepräsentative TrainingsdatenQualitativ minderwertige DatenIrrelevante MerkmaleÜberanpassung der TrainingsdatenUnterdurchschnittliche Anpassung der TrainingsdatenProbleme beim EinsatzZurückgehenTesten und ValidierenAbstimmung der Hyperparameter und ModellauswahlFehlanpassung der DatenÜbungen
Mit echten Daten arbeitenDas große Ganze im BlickDas Problem einrahmenWähle eine LeistungsmessungÜberprüfe die AnnahmenDie Daten beschaffenAusführen der Codebeispiele mit Google ColabSpeichern deiner Codeänderungen und deiner DatenDie Macht und Gefahr der InteraktivitätBuchcode versus Notebook-CodeHerunterladen der DatenWirf einen kurzen Blick auf die DatenstrukturEinen Testsatz erstellenDie Daten erforschen und visualisieren, um Erkenntnisse zu gewinnenGeografische Daten visualisierenNach Korrelationen suchenMit Attributkombinationen experimentierenDie Daten für die Algorithmen des maschinellen Lernens vorbereitenBereinigen der DatenUmgang mit Text und kategorialen AttributenSkalierung und Transformation von MerkmalenBenutzerdefinierte TransformatorenTransformations-PipelinesEin Modell auswählen und trainierenTrainieren und Auswerten mit dem TrainingssetBessere Auswertung durch Cross-ValidationFeinabstimmung des ModellsRastersucheZufallsgesteuerte SucheEnsemble-MethodenAnalysieren der besten Modelle und ihrer FehlerEvaluiere dein System mit der TestmengeStarte, überwache und pflege dein SystemProbiere es aus!Übungen
MNISTEinen binären Klassifikator trainierenLeistungsmessungenMessung der Genauigkeit durch KreuzvalidierungKonfusionsmatrizenPräzision und RückrufDer Kompromiss zwischen Präzision und RückrufDie ROC-KurveKlassifizierung mit mehreren KlassenFehleranalyseMultilabel-KlassifikationMulti-Output-KlassifikationÜbungen
Lineare RegressionDie NormalgleichungBerechnungskomplexitätGradientenabstiegBatch-GradientenabstiegStochastischer GradientenabstiegMini-Batch GradientenabstiegPolynomielle RegressionLernkurvenRegularisierte lineare ModelleRidge RegressionLasso-RegressionElastische NetzregressionFrühes StoppenLogistische RegressionSchätzen von WahrscheinlichkeitenTraining und KostenfunktionEntscheidungsgrenzenSoftmax-RegressionÜbungen
Training und Visualisierung eines EntscheidungsbaumsVorhersagen treffenSchätzung der KlassenwahrscheinlichkeitenDer CART-TrainingsalgorithmusComputerkomplexitätGini-Verunreinigung oder Entropie?Regularisierungs-HyperparameterRegressionEmpfindlichkeit gegenüber der AchsenausrichtungEntscheidungsbäume haben eine hohe VarianzÜbungen
Abstimmende KlassifikatorenBagging und EinfügenBagging und Einfügen in Scikit-LearnOut-of-Bag-AuswertungZufällige Patches und zufällige UnterräumeZufällige WälderExtra-TreesFeature WichtigkeitBoostingAdaBoostGradient BoostingHistogrammbasiertes Gradient BoostingStapelnÜbungen
Der Fluch der DimensionalitätHauptansätze zur DimensionalitätsreduktionProjektionVielfältiges LernenPCAErhalt der VarianzPrinzipielle KomponentenHerunterprojizieren auf d DimensionenScikit-Learn verwendenVerhältnis der erklärten VarianzAuswahl der richtigen Anzahl von DimensionenPCA für die KomprimierungRandomisierte PCAInkrementelle PCAZufällige ProjektionLLEAndere Techniken zur DimensionalitätsreduktionÜbungen
Clustering-Algorithmen: k-means und DBSCANk-Means-ClusteringGrenzen von k-MeansVerwendung von Clustering für die BildsegmentierungVerwendung von Clustering für halbüberwachtes LernenDBSCANAndere Clustering-AlgorithmenGaußsche MischungenVerwendung von Gaußschen Mischungen zur Erkennung von AnomalienAuswahl der Anzahl von ClusternBayessche Gaußsche MischungsmodelleAndere Algorithmen zur Erkennung von Anomalien und NeuartigkeitenÜbungen

Von biologischen zu künstlichen NeuronenBiologische NeuronenLogische Berechnungen mit NeuronenDas PerzeptronDas mehrschichtige Perzeptron und BackpropagationAufbau und Training von MLPs mit Scikit-LearnRegressions-MLPsKlassifizierung MLPsRichtlinien zur Abstimmung der HyperparameterAnzahl der Hidden LayersAnzahl der Neuronen pro Hidden LayerLernrateStapelgrößeAndere HyperparameterÜbungen
Grundlagen von PyTorchPyTorch TensorenHardware-BeschleunigungAutogradLineare Regression implementierenLineare Regression mit Tensoren und AutogradLineare Regression mit PyTorch's High-Level APIImplementieren eines Regressions-MLPMini-Batch Gradient Descent mit DataLoaders implementierenModellauswertungAufbau nichtsequenzieller Modelle mit benutzerdefinierten ModulenErstellen von Modellen mit mehreren EingabenModelle mit mehreren Outputs erstellenErstellen eines Bildklassifizierers mit PyTorchTorchVision zum Laden des Datensatzes verwendenBau des KlassifikatorsHyperparameter eines neuronalen Netzwerks mit Optuna feineinstellenSpeichern und Laden von PyTorch-ModellenKompilieren und Optimieren eines PyTorch ModellsÜbungen
Das Problem der verschwindenden/explodierenden FarbverläufeGlorot-Initialisierung und He-InitialisierungBessere AktivierungsfunktionenBatch-NormalisierungEbenen-NormalisierungGradient ClippingWiederverwendung von vortrainierten LayernTransfer Learning mit PyTorchUnüberwachtes VortrainingPretraining für eine HilfsaufgabeSchnellere OptimiererMomentumNesterov-Beschleunigter GradientAdaGradRMSPropAdamAdaMaxNAdamAdamWZeitplanungsprogramm für die LernrateExponentiales ZeitplanungsprogrammCosinus-AnnealingZeitplanungsprogrammAufwärmen der LernrateCosine Annealing mit warmen Neustarts1Zyklus ZeitplanungsprogrammVermeiden von Überanpassung durch Regularisierungℓ1 und ℓ2 RegularisierungDropoutMonte Carlo DropoutMax-Norm RegularisierungPraktische RichtlinienÜbungen
Die Architektur des visuellen KortexFaltungsschichtenFilterStapeln mehrerer Feature MapsImplementierung von Convolutional Layers mit PyTorchPooling-SchichtenImplementierung von Pooling Layers mit PyTorchCNN-ArchitekturenLeNet-5AlexNetGoogLeNetResNetXceptionSENetAndere bemerkenswerte ArchitekturenDie Wahl der richtigen CNN-ArchitekturAnforderungen an den GPU-RAM: Inferenz vs. TrainingReversible Residualnetze (RevNets)Implementieren eines ResNet-34 CNN mit PyTorchDie vortrainierten Modelle von TorchVision verwendenVortrainierte Modelle für das TransferlernenKlassifizierung und LokalisierungObjekt-ErkennungVollständig gefaltete Netze (Fully Convolutional Networks)Man sieht nur einmal hinObjektverfolgungSemantische SegmentierungÜbungen
Rekurrente Neuronen und SchichtenSpeicherzellenEingabe- und AusgabesequenzenRNNs trainierenVorhersage einer ZeitreiheDie ARMA-ModellfamilieAufbereitung der Daten für Machine Learning ModelleVorhersage mit einem linearen ModellVorhersage mit einem einfachen RNNVorhersage mit einem tiefen RNNVorhersage von multivariaten ZeitreihenVorhersage für mehrere Zeitschritte im VorausVorhersage mit einem Sequence-to-Sequence-ModellLange Sequenzen verarbeitenBekämpfung des Problems der instabilen GradientenBewältigung des Problems des KurzzeitgedächtnissesÜbungen
Generierung von Shakespeare-Texten mit einem Character RNNErstellen des TrainingsdatensatzesEinbettungenAufbau und Training des Char-RNN-ModellsErzeugen von gefälschtem Shakespeare-TextSentiment-Analyse mithilfe von Bibliotheken für umarmende GesichterTokenisierung mit der Hugging Face Tokenizers LibraryWiederverwendung von vortrainierten TokenizernErstellen und Trainieren eines Modells zur SentimentanalyseBidirektionale RNNsWiederverwendung von vortrainierten Embeddings und SprachmodellenAufgabenspezifische KlassenDie Trainer-APIUmarmende Gesichts-PipelinesEin Encoder-Decoder-Netzwerk für neuronale maschinelle ÜbersetzungBalkensucheAufmerksamkeitsmechanismenÜbungen
Aufmerksamkeit ist alles, was du brauchst: Die ursprüngliche Transformator-ArchitekturPositionale KodierungenAufmerksamkeit für mehrere KöpfeDer Rest des TransformersEinen Englisch-Spanisch-Transformator bauenNur-Encoder-Transformatoren für das Verstehen natürlicher SpracheBERTs ArchitekturBERT VortrainingBERT-FeinabstimmungAndere Modelle, die nur den Encoder verwendenAusschließlich dekodierende TransformatorenGPT-1-Architektur und generatives VortrainingGPT-2 und Zero-Shot LearningGPT-3, In-Context Learning, One-Shot Learning und Few-Shot LearningVerwendung von GPT-2 zur Generierung von TextVerwendung von GPT-2 zur Beantwortung von FragenHerunterladen und Ausführen eines noch größeren Modells: Mistral-7BEin großes Sprachmodell in einen Chatbot verwandelnFeinabstimmung eines Modells zum Chatten und Befolgen von Anweisungen mithilfe von SFT und RLHFDirekte Präferenz-Optimierung (DPO)Feinabstimmung eines Modells mithilfe der TRL-BibliothekVon einem Chatbot-Modell zu einem vollständigen Chatbot-SystemModell-Kontext-ProtokollBibliotheken und ToolsEncoder-Decoder-ModelleÜbungen
Vision-TransformatorenRNNs mit visueller AufmerksamkeitDETR: Ein CNN-Transformer-Hybrid für die ObjekterkennungDas Original ViTDateneffizienter BildtransformatorPyramid Vision Transformer für dichte Vorhersage-AufgabenDer Swin-Transformer: Ein schneller und vielseitiger ViTDINO: Selbstüberwachtes Lernen visueller RepräsentationenAndere wichtige Bildverarbeitungsmodelle und -technikenMultimodale TransformatorenVideoBERT: Eine BERT-Variante für Text und VideoViLBERT: Ein Dual-Stream-Transformer für Text und BildCLIP: Ein Dual-Encoder-Modell für Text und Bild, das mit kontrastivem Vortraining trainiert wirdDALL-E: Bilderzeugung aus Eingabeaufforderungen für TextPerceiver: Brückenschlag zwischen hochauflösenden Modalitäten und latenten RäumenPerceiver IO: Ein flexibler Ausgabemechanismus für den PerceiverFlamingo: Visueller Dialog mit offenem EndeBLIP und BLIP-2Andere multimodale ModelleÜbungen
Effiziente DatenrepräsentationenDurchführen von PCA mit einem unvollständigen linearen AutoencoderGestapelte AutoencoderImplementierung eines gestapelten Autoencoders mit PyTorchVisualisierung der RekonstruktionenAnomalie-Erkennung mit AutoencodernVisualisierung des Mode-MNIST-DatensatzesUnüberwachtes Pretraining mit Stacked AutoencodernGewichte bindenEinen Autoencoder nach dem anderen trainierenFaltungs-AutokodiererEntrauschende AutoencoderSparse AutoencoderVariations-AutocodiererGenerierung von MNIST-ModebildernDiskrete Variations-AutoencoderGenerative adversarische NetzwerkeDie Schwierigkeiten beim Training von GANsDiffusionsmodelleÜbungen
Was ist Reinforcement Learning?Politik GradientenEinführung in die GymnasialbibliothekRichtlinien für neuronale NetzeAktionen auswerten: Das Problem der KreditvergabeDas Lösen des CartPole mithilfe von Policy-GradientenWertbasierte MethodenMarkov-EntscheidungsprozesseLernen aus zeitlichen UnterschiedenQ-LearningExplorationspolitikenApproximatives Q-Learning und Deep Q-LearningImplementierung von Deep Q-LearningDQN-VerbesserungenAkteurskritische AlgorithmenAtari Breakout mit der Stable-Baselines3 PPO-Implementierung meisternÜberblick über einige beliebte RL-AlgorithmenÜbungenDankeschön!
Manuelle DifferenzierungFinite-Differenzen-ApproximationAutodiff im VorwärtsmodusAutodiff im umgekehrten Modus
Gemeinsame ZahlendarstellungenModelle mit reduzierter GenauigkeitMixed-Precision-TrainingQuantisierungLineare QuantisierungQuantisierung nach dem Training mit torch.ao.quantizationQuantisierungsorientiertes Training (QAT)Quantisierung von LLMs mit der bitsandbytes-BibliothekVorquantisierte Modelle verwenden

Content preview from Praktisches maschinelles Lernen mit Scikit-Learn und PyTorch

Kapitel 4. Modelle trainieren

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

bisher haben wir Modelle für maschinelles Lernen und ihre Trainingsalgorithmen meist wie Blackboxen behandelt. Wenn du einige der Übungen in den vorangegangenen Kapiteln gemacht hast, warst du vielleicht überrascht, wie viel du erreichen kannst, ohne zu wissen, was unter der Haube steckt: Du hast ein Regressionssystem optimiert, einen Klassifikator für Zahlenbilder verbessert und sogar einen Spam-Klassifikator von Grund auf neu gebaut, ohne zu wissen, wie sie eigentlich funktionieren. In vielen Situationen musst du die Details der Implementierung gar nicht kennen.

Ein gutes Verständnis der Funktionsweise kann dir jedoch dabei helfen, schnell das richtige Modell, den richtigen Trainingsalgorithmus und eine gute Auswahl an Hyperparametern für deine Aufgabe zu finden. Wenn du verstehst, was unter der Haube steckt, kannst du auch Probleme besser beheben und Fehleranalysen effizienter durchführen. Schließlich sind die meisten der in diesem Kapitel behandelten Themen für das Verständnis, den Aufbau und das Training neuronaler Netze (die in Teil II dieses Buches behandelt werden) unerlässlich.

In diesem Kapitel befassen wir uns zunächst mit dem linearen Regressionsmodell, einem der einfachsten Modelle, die es gibt. Wir besprechen zwei sehr unterschiedliche Arten, es zu trainieren: