book

Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 3rd Edition

Name: Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 3rd Edition
Author: Aurélien Géron
ISBN: 9783960092124

by Aurélien Géron

August 2023

Intermediate to advanced

878 pages

26h 46m

German

dpunkt

Read now

Unlock full access

Cover
Titel
Impressum
Inhalt
Vorwort
Teil I Die Grundlagen des Machine Learning
1 Die Machine-Learning-Umgebung
Was ist Machine Learning?Warum wird Machine Learning verwendet?AnwendungsbeispielUnterschiedliche Machine-Learning-SystemeTrainingsüberwachungBatch- und Online-LearningInstanzbasiertes versus modellbasiertes LernenDie wichtigsten Herausforderungen beim Machine LearningUnzureichende Menge an TrainingsdatenNicht repräsentative TrainingsdatenMinderwertige DatenIrrelevante MerkmaleOverfitting der TrainingsdatenUnderfitting der TrainingsdatenZusammenfassungTesten und ValidierenHyperparameter anpassen und ModellauswahlDatendiskrepanzÜbungen
2 Ein Machine-Learning-Projekt von A bis Z
Der Umgang mit realen DatenBetrachte das GesamtbildDie Aufgabe absteckenWähle ein Qualitätsmaß ausÜberprüfe die AnnahmenBeschaffe die DatenDie Codebeispiele mit Google Colab ausführenIhre Codeänderungen und Daten sichernInteraktivität – mächtig, aber gefährlichCode im Buch versus Notebook-CodeDie Daten herunterladenWirf einen kurzen Blick auf die DatenstrukturErstelle einen TestdatensatzErkunde und visualisiere die Daten, um Erkenntnisse zu gewinnenVisualisieren geografischer DatenSuche nach KorrelationenExperimentieren mit Kombinationen von MerkmalenBereite die Daten für Machine-Learning-Algorithmen vorAufbereiten der DatenBearbeiten von Text und kategorischen MerkmalenSkalieren und Transformieren von MerkmalenEigene TransformerPipelines zur TransformationWähle ein Modell aus und trainiere esTrainieren und auswerten auf dem TrainingsdatensatzBessere Auswertung mittels KreuzvalidierungOptimiere das ModellGittersucheZufällige SucheEnsemble-MethodenAnalysiere die besten Modelle und ihre FehlerEvaluiere das System auf dem TestdatensatzNimm das System in Betrieb, überwache und warte esProbieren Sie es aus!Übungen
3 Klassifikation
MNISTTrainieren eines binären KlassifikatorsQualitätsmaßeMessen der Genauigkeit über KreuzvalidierungKonfusionsmatrixRelevanz und SensitivitätDie Wechselbeziehung zwischen Relevanz und SensitivitätDie ROC-KurveKlassifikatoren mit mehreren KategorienFehleranalyseKlassifikation mit mehreren LabelsKlassifikation mit mehreren AusgabenÜbungen
4 Trainieren von Modellen
Lineare RegressionDie NormalengleichungKomplexität der BerechnungDas GradientenverfahrenBatch-GradientenverfahrenStochastisches GradientenverfahrenMini-Batch-GradientenverfahrenPolynomielle RegressionLernkurvenRegularisierte lineare ModelleRidge-RegressionLasso-RegressionElastic-Net-RegressionEarly StoppingLogistische RegressionAbschätzen von WahrscheinlichkeitenTrainieren und KostenfunktionEntscheidungsgrenzenSoftmax-RegressionÜbungen

5 Support Vector Machines
Lineare Klassifikation mit SVMsSoft-Margin-KlassifikationNichtlineare SVM-KlassifikationPolynomieller KernelÄhnlichkeitsbasierte MerkmaleDer gaußsche RBF-KernelSVM-Klassen und Komplexität der BerechnungSVM-RegressionHinter den Kulissen linearer SVM-KlassifikatorenDas duale ProblemKernel-SVMÜbungen
6 Entscheidungsbäume
Trainieren und Visualisieren eines EntscheidungsbaumsVorhersagen treffenSchätzen von Wahrscheinlichkeiten für KategorienDer CART-TrainingsalgorithmusKomplexität der BerechnungGini-Unreinheit oder Entropie?Hyperparameter zur RegularisierungRegressionEmpfindlichkeit für die Ausrichtung der AchsenEntscheidungsbäume haben eine größere VarianzÜbungen
7 Ensemble Learning und Random Forests
Abstimmverfahren unter KlassifikatorenBagging und PastingBagging und Pasting in Scikit-LearnOut-of-Bag-EvaluationZufällige Patches und SubräumeRandom ForestsExtra-TreesWichtigkeit von MerkmalenBoostingAdaBoostGradient BoostingHistogrammbasiertes Gradient BoostingStackingÜbungen
8 Dimensionsreduktion
Der Fluch der DimensionalitätDie wichtigsten Ansätze zur DimensionsreduktionProjektionManifold LearningHauptkomponentenzerlegung (PCA)Erhalten der VarianzHauptkomponentenDie Projektion auf d DimensionenVerwenden von Scikit-LearnDer Anteil erklärter VarianzAuswählen der richtigen Anzahl DimensionenPCA als KomprimierungsverfahrenRandomisierte PCAInkrementelle PCAZufallsprojektionLLEWeitere Techniken zur DimensionsreduktionÜbungen
9 Techniken des unüberwachten Lernens
Clustering-Algorithmen: k-Means und DBSCANk-MeansGrenzen von k-MeansBildsegmentierung per ClusteringClustering für teilüberwachtes Lernen einsetzenDBSCANAndere Clustering-AlgorithmenGaußsche MischverteilungAnomalieerkennung mit gaußschen MischverteilungsmodellenDie Anzahl an Clustern auswählenBayessche gaußsche MischverteilungsmodelleAndere Algorithmen zur Anomalie- und Novelty-ErkennungÜbungen
Teil II Neuronale Netze und Deep Learning
10 Einführung in künstliche neuronale Netze mit Keras
Von biologischen zu künstlichen NeuronenBiologische NeuronenLogische Berechnungen mit NeuronenDas PerzeptronMehrschichtiges Perzeptron und BackpropagationRegressions-MLPsKlassifikations-MLPsMLPs mit Keras implementierenEinen Bildklassifikator mit der Sequential API erstellenEin Regressions-MLP mit der Sequential API erstellenKomplexe Modelle mit der Functional API bauenDynamische Modelle mit der Subclassing API bauenEin Modell sichern und wiederherstellenCallbacksTensorBoard zur Visualisierung verwendenFeinabstimmung der Hyperparameter eines neuronalen NetzesAnzahl verborgener SchichtenAnzahl Neuronen pro verborgene SchichtLernrate, Batchgröße und andere HyperparameterÜbungen
11 Trainieren von Deep-Learning-Netzen
Das Problem schwindender/explodierender GradientenInitialisierung nach Glorot und HeBessere AktivierungsfunktionenBatchnormalisierungGradient ClippingWiederverwenden vortrainierter SchichtenTransfer Learning mit KerasUnüberwachtes VortrainierenVortrainieren anhand einer HilfsaufgabeSchnellere OptimiererMomentumBeschleunigter Gradient nach NesterovAdaGradRMSPropAdamScheduling der LernrateVermeiden von Overfitting durch Regularisierungℓ1- und ℓ2-RegularisierungDrop-outMonte-Carlo-(MC-)Drop-outMax-Norm-RegularisierungZusammenfassung und praktische TippsÜbungen
12 Eigene Modelle und Training mit TensorFlow
Ein kurzer Überblick über TensorFlowTensorFlow wie NumPy einsetzenTensoren und OperationenTensoren und NumPyTypumwandlungVariablenAndere DatenstrukturenModelle und Trainingsalgorithmen anpassenEigene VerlustfunktionModelle mit eigenen Komponenten sichern und ladenEigene Aktivierungsfunktionen, Initialisierer, Regularisierer und ConstraintsEigene MetrikenEigene SchichtenEigene ModelleVerlustfunktionen und Metriken auf Modellinterna basieren lassenGradienten per Autodiff berechnenEigene TrainingsschleifenFunktionen und Graphen in TensorFlowAutoGraph und TracingRegeln für TF FunctionsÜbungen
13 Daten mit TensorFlow laden und vorverarbeiten
Die tf.data-APITransformationen verkettenDaten durchmischenDaten vorverarbeitenAlles zusammenbringenPrefetchingDatasets mit tf.keras verwendenDas TFRecord-FormatKomprimierte TFRecord-DateienEine kurze Einführung in Protocol BufferTensorFlow-ProtobufsExamples laden und parsenListen von Listen mit dem SequenceExample-Protobuf verarbeitenVorverarbeitungsschichten von KerasDie Normalization-SchichtDie Discretization-SchichtDie CategoryEncoding-SchichtDie StringLookup-SchichtDie Hashing-SchichtKategorische Merkmale mit Embeddings codierenVorverarbeitung von TextVortrainierte Sprachmodellkomponenten verwendenVorverarbeitungsschichten für BilderDas TensorFlow-Datasets-ProjektÜbungen
14 Deep Computer Vision mit Convolutional Neural Networks
Der Aufbau des visuellen CortexConvolutional LayersFilterStapeln mehrerer Feature MapsConvolutional Layer mit Keras implementierenSpeicherbedarfPooling LayersPooling Layer mit Keras implementierenArchitekturen von CNNsLeNet-5AlexNetGoogLeNetVGGNetResNetXceptionSENetWeitere erwähnenswerte ArchitekturDie richtige CNN-Architektur wählenEin ResNet-34-CNN mit Keras implementierenVortrainierte Modelle aus Keras einsetzenVortrainierte Modelle für das Transfer LearningKlassifikation und LokalisierungObjekterkennungFully Convolutional NetworksYou Only Look OnceObjektverfolgungSemantische SegmentierungÜbungen
15 Verarbeiten von Sequenzen mit RNNs und CNNs
Rekurrente Neuronen und SchichtenGedächtniszellenEin- und AusgabesequenzenRNNs trainierenEine Zeitserie vorhersagenDie ARMA-ModellfamilieDie Daten für Machine-Learning-Modelle vorbereitenVorhersage mit einem linearen ModellVorhersage mit einem einfachen RNNVorhersage mit einem Deep RNNMultivariate Zeitserien vorhersagenMehrere Zeitschritte vorhersagenMit einem Sequence-to-Sequence-Modell vorhersagenArbeit mit langen SequenzenGegen instabile Gradienten kämpfenDas Problem des KurzzeitgedächtnissesÜbungen
16 Verarbeitung natürlicher Sprache mit RNNs und Attention
Shakespearesche Texte mit einem Character-RNN erzeugenDen Trainingsdatensatz erstellenDas Char-RNN-Modell bauen und trainierenEinen gefälschten Shakespeare-Text erzeugenZustandsbehaftetes RNNSentimentanalyseMaskierenVortrainierte Embeddings wiederverwendenEin Encoder-Decoder-Netzwerk für die neuronale maschinelle ÜbersetzungBidirektionale RNNsBeam SearchAttention-MechanismenAttention Is All You Need: die Transformer-ArchitekturEine Lawine an Transformer-ModellenVision TransformersDie Transformers-Bibliothek von Hugging FaceÜbungen
17 Autoencoder, GANs und Diffusionsmodelle
Effiziente Repräsentation von DatenHauptkomponentenzerlegung mit einem untervollständigen linearen AutoencoderStacked AutoencoderEinen Stacked Autoencoder mit Keras implementierenVisualisieren der RekonstruktionenDen Fashion-MNIST-Datensatz visualisierenUnüberwachtes Vortrainieren mit Stacked AutoencoderKopplung von GewichtenTrainieren mehrerer Autoencoder nacheinanderConvolutional AutoencoderDenoising AutoencodersSparse AutoencodersVariational AutoencodersFashion-MNIST-Bilder erzeugenGenerative Adversarial NetworksSchwierigkeiten beim Trainieren von GANsDeep Convolutional GANsProgressive wachsende GANsStyleGANsDiffusionsmodelleÜbungen
18 Reinforcement Learning
Lernen zum Optimieren von BelohnungenSuche nach PoliciesEinführung in OpenAI GymNeuronale Netze als PoliciesAuswerten von Aktionen: das Credit-Assignment-ProblemPolicy-GradientenMarkov-EntscheidungsprozesseTemporal Difference LearningQ-LearningErkundungspoliciesApproximatives Q-Learning und Deep-Q-LearningDeep-Q-Learning implementierenDeep-Q-Learning-VariantenFeste Q-Wert-ZieleDouble DQNPriorisiertes Experience ReplayDueling DQNÜberblick über beliebte RL-AlgorithmenÜbungen
19 TensorFlow-Modelle skalierbar trainieren und deployen
Ein TensorFlow-Modell ausführenTensorFlow Serving verwendenEinen Vorhersageservice auf Vertex AI erstellenBatch-Vorhersagejobs auf Vertex AI ausführenEin Modell auf ein Mobile oder Embedded Device deployenEin Modell auf einer Webseite laufen lassenMit GPUs die Berechnungen beschleunigenSich eine eigene GPU zulegenDas GPU-RAM verwaltenOperationen und Variablen auf Devices verteilenParalleles Ausführen auf mehreren DevicesModelle auf mehreren Devices trainierenParallelisierte ModelleParallelisierte DatenMit der Distribution Strategies API auf mehreren Devices trainierenEin Modell in einem TensorFlow-Cluster trainierenGroße Trainingsjobs auf Vertex AI ausführenHyperparameter auf Vertex AI optimierenHyperparameter mit Keras Tuner auf Vertex AI optimierenÜbungenVielen Dank!
A Checkliste für Machine-Learning-Projekte
B Autodiff
C Spezielle Datenstrukturen
D TensorFlow-Graphen
Fußnoten
Index
Über den Autor
Über die Übersetzer
Kolophon

Content preview from Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 3rd Edition

KAPITEL 11

Trainieren von Deep-Learning-Netzen

In Kapitel 10 haben Sie Ihre ersten künstlichen neuronalen Netze gebaut, trainiert und optimiert. Es waren aber sehr flache Netze mit nur wenigen verborgenen Schichten. Wie lässt sich eine komplexe Aufgabe wie das Erkennen Hunderter Gegenstände in hochauflösenden Bildern angehen? Dazu müssen Sie ein weitaus tieferes ANN mit zehn oder noch viel mehr Schichten aus jeweils Hunderten Neuronen und Hunderttausenden Verbindungen trainieren. Das wird kein Spaziergang, und die folgenden sind nur ein paar der Probleme, denen Sie sich gegenübersehen könnten:

Es tritt eventuell das Problem kontinuierlich wachsender oder schwindender Gradienten auf, während man sich beim Training rückwärts durch das DNN bewegt. ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 2nd Edition

Publisher Resources

ISBN: 9781098168643

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 3rd Edition

by Aurélien Géron

KAPITEL 11

Trainieren von Deep-Learning-Netzen

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.