book

Praktisches maschinelles Lernen mit Scikit-Learn und PyTorch

by Aurélien Géron

October 2025

Intermediate to advanced

878 pages

29h 18m

German

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Maschinelles Lernen in deinen ProjektenZielsetzung und AnsatzCode-BeispieleVoraussetzungenRoadmapÄnderungen zwischen den TensorFlow- und PyTorch-VersionenAndere RessourcenIn diesem Buch verwendete KonventionenO'Reilly Online LernenKontaktaufnahme mit unsDanksagungen
Was ist maschinelles Lernen?Warum maschinelles Lernen?Beispiele für AnwendungenArten von maschinellen LernsystemenÜberwachung des TrainingsBatch- versus Online-LernenInstanzbasiertes versus modellbasiertes LernenDie wichtigsten Herausforderungen des maschinellen LernensUnzureichende Menge an TrainingsdatenUnrepräsentative TrainingsdatenQualitativ minderwertige DatenIrrelevante MerkmaleÜberanpassung der TrainingsdatenUnterdurchschnittliche Anpassung der TrainingsdatenProbleme beim EinsatzZurückgehenTesten und ValidierenAbstimmung der Hyperparameter und ModellauswahlFehlanpassung der DatenÜbungen
Mit echten Daten arbeitenDas große Ganze im BlickDas Problem einrahmenWähle eine LeistungsmessungÜberprüfe die AnnahmenDie Daten beschaffenAusführen der Codebeispiele mit Google ColabSpeichern deiner Codeänderungen und deiner DatenDie Macht und Gefahr der InteraktivitätBuchcode versus Notebook-CodeHerunterladen der DatenWirf einen kurzen Blick auf die DatenstrukturEinen Testsatz erstellenDie Daten erforschen und visualisieren, um Erkenntnisse zu gewinnenGeografische Daten visualisierenNach Korrelationen suchenMit Attributkombinationen experimentierenDie Daten für die Algorithmen des maschinellen Lernens vorbereitenBereinigen der DatenUmgang mit Text und kategorialen AttributenSkalierung und Transformation von MerkmalenBenutzerdefinierte TransformatorenTransformations-PipelinesEin Modell auswählen und trainierenTrainieren und Auswerten mit dem TrainingssetBessere Auswertung durch Cross-ValidationFeinabstimmung des ModellsRastersucheZufallsgesteuerte SucheEnsemble-MethodenAnalysieren der besten Modelle und ihrer FehlerEvaluiere dein System mit der TestmengeStarte, überwache und pflege dein SystemProbiere es aus!Übungen
MNISTEinen binären Klassifikator trainierenLeistungsmessungenMessung der Genauigkeit durch KreuzvalidierungKonfusionsmatrizenPräzision und RückrufDer Kompromiss zwischen Präzision und RückrufDie ROC-KurveKlassifizierung mit mehreren KlassenFehleranalyseMultilabel-KlassifikationMulti-Output-KlassifikationÜbungen
Lineare RegressionDie NormalgleichungBerechnungskomplexitätGradientenabstiegBatch-GradientenabstiegStochastischer GradientenabstiegMini-Batch GradientenabstiegPolynomielle RegressionLernkurvenRegularisierte lineare ModelleRidge RegressionLasso-RegressionElastische NetzregressionFrühes StoppenLogistische RegressionSchätzen von WahrscheinlichkeitenTraining und KostenfunktionEntscheidungsgrenzenSoftmax-RegressionÜbungen
Training und Visualisierung eines EntscheidungsbaumsVorhersagen treffenSchätzung der KlassenwahrscheinlichkeitenDer CART-TrainingsalgorithmusComputerkomplexitätGini-Verunreinigung oder Entropie?Regularisierungs-HyperparameterRegressionEmpfindlichkeit gegenüber der AchsenausrichtungEntscheidungsbäume haben eine hohe VarianzÜbungen
Abstimmende KlassifikatorenBagging und EinfügenBagging und Einfügen in Scikit-LearnOut-of-Bag-AuswertungZufällige Patches und zufällige UnterräumeZufällige WälderExtra-TreesFeature WichtigkeitBoostingAdaBoostGradient BoostingHistogrammbasiertes Gradient BoostingStapelnÜbungen
Der Fluch der DimensionalitätHauptansätze zur DimensionalitätsreduktionProjektionVielfältiges LernenPCAErhalt der VarianzPrinzipielle KomponentenHerunterprojizieren auf d DimensionenScikit-Learn verwendenVerhältnis der erklärten VarianzAuswahl der richtigen Anzahl von DimensionenPCA für die KomprimierungRandomisierte PCAInkrementelle PCAZufällige ProjektionLLEAndere Techniken zur DimensionalitätsreduktionÜbungen
Clustering-Algorithmen: k-means und DBSCANk-Means-ClusteringGrenzen von k-MeansVerwendung von Clustering für die BildsegmentierungVerwendung von Clustering für halbüberwachtes LernenDBSCANAndere Clustering-AlgorithmenGaußsche MischungenVerwendung von Gaußschen Mischungen zur Erkennung von AnomalienAuswahl der Anzahl von ClusternBayessche Gaußsche MischungsmodelleAndere Algorithmen zur Erkennung von Anomalien und NeuartigkeitenÜbungen

Von biologischen zu künstlichen NeuronenBiologische NeuronenLogische Berechnungen mit NeuronenDas PerzeptronDas mehrschichtige Perzeptron und BackpropagationAufbau und Training von MLPs mit Scikit-LearnRegressions-MLPsKlassifizierung MLPsRichtlinien zur Abstimmung der HyperparameterAnzahl der Hidden LayersAnzahl der Neuronen pro Hidden LayerLernrateStapelgrößeAndere HyperparameterÜbungen
Grundlagen von PyTorchPyTorch TensorenHardware-BeschleunigungAutogradLineare Regression implementierenLineare Regression mit Tensoren und AutogradLineare Regression mit PyTorch's High-Level APIImplementieren eines Regressions-MLPMini-Batch Gradient Descent mit DataLoaders implementierenModellauswertungAufbau nichtsequenzieller Modelle mit benutzerdefinierten ModulenErstellen von Modellen mit mehreren EingabenModelle mit mehreren Outputs erstellenErstellen eines Bildklassifizierers mit PyTorchTorchVision zum Laden des Datensatzes verwendenBau des KlassifikatorsHyperparameter eines neuronalen Netzwerks mit Optuna feineinstellenSpeichern und Laden von PyTorch-ModellenKompilieren und Optimieren eines PyTorch ModellsÜbungen
Das Problem der verschwindenden/explodierenden FarbverläufeGlorot-Initialisierung und He-InitialisierungBessere AktivierungsfunktionenBatch-NormalisierungEbenen-NormalisierungGradient ClippingWiederverwendung von vortrainierten LayernTransfer Learning mit PyTorchUnüberwachtes VortrainingPretraining für eine HilfsaufgabeSchnellere OptimiererMomentumNesterov-Beschleunigter GradientAdaGradRMSPropAdamAdaMaxNAdamAdamWZeitplanungsprogramm für die LernrateExponentiales ZeitplanungsprogrammCosinus-AnnealingZeitplanungsprogrammAufwärmen der LernrateCosine Annealing mit warmen Neustarts1Zyklus ZeitplanungsprogrammVermeiden von Überanpassung durch Regularisierungℓ1 und ℓ2 RegularisierungDropoutMonte Carlo DropoutMax-Norm RegularisierungPraktische RichtlinienÜbungen
Die Architektur des visuellen KortexFaltungsschichtenFilterStapeln mehrerer Feature MapsImplementierung von Convolutional Layers mit PyTorchPooling-SchichtenImplementierung von Pooling Layers mit PyTorchCNN-ArchitekturenLeNet-5AlexNetGoogLeNetResNetXceptionSENetAndere bemerkenswerte ArchitekturenDie Wahl der richtigen CNN-ArchitekturAnforderungen an den GPU-RAM: Inferenz vs. TrainingReversible Residualnetze (RevNets)Implementieren eines ResNet-34 CNN mit PyTorchDie vortrainierten Modelle von TorchVision verwendenVortrainierte Modelle für das TransferlernenKlassifizierung und LokalisierungObjekt-ErkennungVollständig gefaltete Netze (Fully Convolutional Networks)Man sieht nur einmal hinObjektverfolgungSemantische SegmentierungÜbungen
Rekurrente Neuronen und SchichtenSpeicherzellenEingabe- und AusgabesequenzenRNNs trainierenVorhersage einer ZeitreiheDie ARMA-ModellfamilieAufbereitung der Daten für Machine Learning ModelleVorhersage mit einem linearen ModellVorhersage mit einem einfachen RNNVorhersage mit einem tiefen RNNVorhersage von multivariaten ZeitreihenVorhersage für mehrere Zeitschritte im VorausVorhersage mit einem Sequence-to-Sequence-ModellLange Sequenzen verarbeitenBekämpfung des Problems der instabilen GradientenBewältigung des Problems des KurzzeitgedächtnissesÜbungen
Generierung von Shakespeare-Texten mit einem Character RNNErstellen des TrainingsdatensatzesEinbettungenAufbau und Training des Char-RNN-ModellsErzeugen von gefälschtem Shakespeare-TextSentiment-Analyse mithilfe von Bibliotheken für umarmende GesichterTokenisierung mit der Hugging Face Tokenizers LibraryWiederverwendung von vortrainierten TokenizernErstellen und Trainieren eines Modells zur SentimentanalyseBidirektionale RNNsWiederverwendung von vortrainierten Embeddings und SprachmodellenAufgabenspezifische KlassenDie Trainer-APIUmarmende Gesichts-PipelinesEin Encoder-Decoder-Netzwerk für neuronale maschinelle ÜbersetzungBalkensucheAufmerksamkeitsmechanismenÜbungen
Aufmerksamkeit ist alles, was du brauchst: Die ursprüngliche Transformator-ArchitekturPositionale KodierungenAufmerksamkeit für mehrere KöpfeDer Rest des TransformersEinen Englisch-Spanisch-Transformator bauenNur-Encoder-Transformatoren für das Verstehen natürlicher SpracheBERTs ArchitekturBERT VortrainingBERT-FeinabstimmungAndere Modelle, die nur den Encoder verwendenAusschließlich dekodierende TransformatorenGPT-1-Architektur und generatives VortrainingGPT-2 und Zero-Shot LearningGPT-3, In-Context Learning, One-Shot Learning und Few-Shot LearningVerwendung von GPT-2 zur Generierung von TextVerwendung von GPT-2 zur Beantwortung von FragenHerunterladen und Ausführen eines noch größeren Modells: Mistral-7BEin großes Sprachmodell in einen Chatbot verwandelnFeinabstimmung eines Modells zum Chatten und Befolgen von Anweisungen mithilfe von SFT und RLHFDirekte Präferenz-Optimierung (DPO)Feinabstimmung eines Modells mithilfe der TRL-BibliothekVon einem Chatbot-Modell zu einem vollständigen Chatbot-SystemModell-Kontext-ProtokollBibliotheken und ToolsEncoder-Decoder-ModelleÜbungen
Vision-TransformatorenRNNs mit visueller AufmerksamkeitDETR: Ein CNN-Transformer-Hybrid für die ObjekterkennungDas Original ViTDateneffizienter BildtransformatorPyramid Vision Transformer für dichte Vorhersage-AufgabenDer Swin-Transformer: Ein schneller und vielseitiger ViTDINO: Selbstüberwachtes Lernen visueller RepräsentationenAndere wichtige Bildverarbeitungsmodelle und -technikenMultimodale TransformatorenVideoBERT: Eine BERT-Variante für Text und VideoViLBERT: Ein Dual-Stream-Transformer für Text und BildCLIP: Ein Dual-Encoder-Modell für Text und Bild, das mit kontrastivem Vortraining trainiert wirdDALL-E: Bilderzeugung aus Eingabeaufforderungen für TextPerceiver: Brückenschlag zwischen hochauflösenden Modalitäten und latenten RäumenPerceiver IO: Ein flexibler Ausgabemechanismus für den PerceiverFlamingo: Visueller Dialog mit offenem EndeBLIP und BLIP-2Andere multimodale ModelleÜbungen
Effiziente DatenrepräsentationenDurchführen von PCA mit einem unvollständigen linearen AutoencoderGestapelte AutoencoderImplementierung eines gestapelten Autoencoders mit PyTorchVisualisierung der RekonstruktionenAnomalie-Erkennung mit AutoencodernVisualisierung des Mode-MNIST-DatensatzesUnüberwachtes Pretraining mit Stacked AutoencodernGewichte bindenEinen Autoencoder nach dem anderen trainierenFaltungs-AutokodiererEntrauschende AutoencoderSparse AutoencoderVariations-AutocodiererGenerierung von MNIST-ModebildernDiskrete Variations-AutoencoderGenerative adversarische NetzwerkeDie Schwierigkeiten beim Training von GANsDiffusionsmodelleÜbungen
Was ist Reinforcement Learning?Politik GradientenEinführung in die GymnasialbibliothekRichtlinien für neuronale NetzeAktionen auswerten: Das Problem der KreditvergabeDas Lösen des CartPole mithilfe von Policy-GradientenWertbasierte MethodenMarkov-EntscheidungsprozesseLernen aus zeitlichen UnterschiedenQ-LearningExplorationspolitikenApproximatives Q-Learning und Deep Q-LearningImplementierung von Deep Q-LearningDQN-VerbesserungenAkteurskritische AlgorithmenAtari Breakout mit der Stable-Baselines3 PPO-Implementierung meisternÜberblick über einige beliebte RL-AlgorithmenÜbungenDankeschön!
Manuelle DifferenzierungFinite-Differenzen-ApproximationAutodiff im VorwärtsmodusAutodiff im umgekehrten Modus
Gemeinsame ZahlendarstellungenModelle mit reduzierter GenauigkeitMixed-Precision-TrainingQuantisierungLineare QuantisierungQuantisierung nach dem Training mit torch.ao.quantizationQuantisierungsorientiertes Training (QAT)Quantisierung von LLMs mit der bitsandbytes-BibliothekVorquantisierte Modelle verwenden

Content preview from Praktisches maschinelles Lernen mit Scikit-Learn und PyTorch

Kapitel 1. Die Landschaft des maschinellen Lernens

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Es ist noch gar nicht so lange her, dass du dein Telefon in die Hand genommen und es gebeten hättest, dir den Weg nach Hause zu sagen, hätte es dich ignoriert - und die Leute hätten an deinem Verstand gezweifelt. Aber maschinelles Lernen ist keine Science-Fiction mehr: Milliarden von Menschen nutzen es jeden Tag. Und in Wahrheit gibt es sie schon seit Jahrzehnten in einigen Spezialanwendungen, wie z. B. der optischen Zeichenerkennung (OCR). Die erste ML-Anwendung, die wirklich zum Mainstream wurde und das Leben von Hunderten von Millionen Menschen verbesserte, eroberte in den 1990er Jahren diskret die Welt: der Spamfilter. Er ist zwar nicht gerade ein selbstbewusster Roboter, aber technisch gesehen handelt es sich um maschinelles Lernen: Er hat so gut gelernt, dass du nur noch selten eine E-Mail als Spam kennzeichnen musst. Dank großer Datenmengen, verbesserter Hardware und einiger algorithmischer Innovationen folgten Hunderte von maschinellen Anwendungen, die heute im Stillen Hunderte von Produkten und Funktionen steuern, die du regelmäßig nutzt: Eingabeaufforderungen, automatische Übersetzungen, Bildersuche, Produktempfehlungen und vieles mehr. Und schließlich kamen ChatGPT, Gemini (früher Bard), Claude, Perplexity und viele andere Chatbots: KI treibt nicht mehr nur Dienste im Hintergrund an, ...