book

Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 2nd Edition

Name: Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 2nd Edition
Author: Aurélien Géron
ISBN: 9783960091240

by Aurélien Géron

July 2020

Intermediate to advanced

852 pages

25h 44m

German

dpunkt

Read now

Unlock full access

Cover
Titel
Impressum
Inhalt
Vorwort
Teil I Die Grundlagen des Machine Learning
1 Die Machine-Learning-Umgebung
Was ist Machine Learning?Warum wird Machine Learning verwendet?AnwendungsbeispielUnterschiedliche Machine-Learning-SystemeÜberwachtes/unüberwachtes LernenBatch- und Online-LearningInstanzbasiertes versus modellbasiertes LernenDie wichtigsten Herausforderungen beim Machine LearningUnzureichende Menge an TrainingsdatenNicht repräsentative TrainingsdatenMinderwertige DatenIrrelevante MerkmaleOverfitting der TrainingsdatenUnderfitting der TrainingsdatenZusammenfassungTesten und ValidierenHyperparameter anpassen und ModellauswahlDatendiskrepanzÜbungen
2 Ein Machine-Learning-Projekt von A bis Z
Der Umgang mit realen DatenBetrachte das GesamtbildDie Aufgabe absteckenWähle ein Qualitätsmaß ausÜberprüfe die AnnahmenBeschaffe die DatenErstelle eine ArbeitsumgebungDie Daten herunterladenWirf einen kurzen Blick auf die DatenstrukturErstelle einen TestdatensatzErkunde und visualisiere die Daten, um Erkenntnisse zu gewinnenVisualisieren geografischer DatenSuche nach KorrelationenExperimentieren mit Kombinationen von Merkmalen
Bereite die Daten für Machine-Learning-Algorithmen vor
Aufbereiten der DatenBearbeiten von Text und kategorischen MerkmalenEigene TransformerSkalieren von MerkmalenPipelines zur TransformationWähle ein Modell aus und trainiere esTrainieren und Auswerten auf dem TrainingsdatensatzBessere Auswertung mittels KreuzvalidierungOptimiere das ModellGittersucheZufällige SucheEnsemble-MethodenAnalysiere die besten Modelle und ihre FehlerEvaluiere das System auf dem TestdatensatzNimm das System in Betrieb, überwache und warte esProbieren Sie es aus!Übungen
3 Klassifikation
MNISTTrainieren eines binären KlassifikatorsQualitätsmaßeMessen der Genauigkeit über KreuzvalidierungKonfusionsmatrixRelevanz und SensitivitätDie Wechselbeziehung zwischen Relevanz und SensitivitätDie ROC-KurveKlassifikatoren mit mehreren KategorienFehleranalyseKlassifikation mit mehreren LabelsKlassifikation mit mehreren AusgabenÜbungen

4 Trainieren von Modellen
Lineare RegressionDie NormalengleichungKomplexität der BerechnungDas GradientenverfahrenBatch-GradientenverfahrenStochastisches GradientenverfahrenMini-Batch-GradientenverfahrenPolynomielle RegressionLernkurvenRegularisierte lineare ModelleRidge-RegressionLasso-RegressionElastic NetEarly StoppingLogistische RegressionAbschätzen von WahrscheinlichkeitenTrainieren und KostenfunktionEntscheidungsgrenzenSoftmax-RegressionÜbungen
5 Support Vector Machines
Lineare Klassifikation mit SVMsSoft-Margin-KlassifikationNichtlineare SVM-KlassifikationPolynomieller KernelÄhnlichkeitsbasierte MerkmaleDer gaußsche RBF-KernelKomplexität der BerechnungSVM-RegressionHinter den KulissenEntscheidungsfunktion und VorhersagenZielfunktionen beim TrainierenQuadratische ProgrammeDas duale ProblemKernel-SVMOnline-SVMsÜbungen
6 Entscheidungsbäume
Trainieren und Visualisieren eines EntscheidungsbaumsVorhersagen treffenSchätzen von Wahrscheinlichkeiten für KategorienDer CART-TrainingsalgorithmusKomplexität der BerechnungGini-Unreinheit oder Entropie?Hyperparameter zur RegularisierungRegressionInstabilitätÜbungen
7 Ensemble Learning und Random Forests
Abstimmverfahren unter KlassifikatorenBagging und PastingBagging und Pasting in Scikit-LearnOut-of-Bag-EvaluationZufällige Patches und SubräumeRandom ForestsExtra-TreesWichtigkeit von MerkmalenBoostingAdaBoostGradient BoostingStackingÜbungen
8 Dimensionsreduktion
Der Fluch der DimensionalitätDie wichtigsten Ansätze zur DimensionsreduktionProjektionManifold LearningHauptkomponentenzerlegung (PCA)Erhalten der VarianzHauptkomponentenDie Projektion auf d DimensionenVerwenden von Scikit-LearnDer Anteil erklärter VarianzAuswählen der richtigen Anzahl DimensionenPCA als KomprimierungsverfahrenRandomisierte PCAInkrementelle PCAKernel-PCAAuswahl eines Kernels und Optimierung der HyperparameterLLEWeitere Techniken zur DimensionsreduktionÜbungen
9 Techniken des unüberwachten Lernens
ClusteringK-MeansGrenzen von K-MeansBildsegmentierung per ClusteringVorverarbeitung per ClusteringClustering für teilüberwachtes Lernen einsetzenDBSCANAndere Clustering-AlgorithmenGaußsche MischverteilungAnomalieerkennung mit gaußschen MischverteilungsmodellenDie Anzahl an Clustern auswählenBayessche gaußsche MischverteilungsmodelleAndere Algorithmen zur Anomalie- und Novelty-ErkennungÜbungen
Teil II Neuronale Netze und Deep Learning
10 Einführung in künstliche neuronale Netze mit Keras
Von biologischen zu künstlichen NeuronenBiologische NeuronenLogische Berechnungen mit NeuronenDas PerzeptronMehrschichtiges Perzeptron und BackpropagationRegressions-MLPsKlassifikations-MLPsMLPs mit Keras implementierenTensorFlow 2 installierenEinen Bildklassifikator mit der Sequential API erstellen
Ein Regressions-MLP mit der Sequential API erstellen
Komplexe Modelle mit der Functional API bauenDynamische Modelle mit der Subclassing API bauenEin Modell sichern und wiederherstellenCallbacksTensorBoard zur Visualisierung verwendenFeinabstimmung der Hyperparameter eines neuronalen NetzesAnzahl verborgener SchichtenAnzahl Neuronen pro verborgene SchichtLernrate, Batchgröße und andere HyperparameterÜbungen
11 Trainieren von Deep-Learning-Netzen
Das Problem schwindender/explodierender GradientenInitialisierung nach Glorot und HeNicht sättigende AktivierungsfunktionenBatchnormalisierungGradient ClippingWiederverwenden vortrainierter SchichtenTransfer Learning mit KerasUnüberwachtes VortrainierenVortrainieren anhand einer Hilfsaufgabe
Schnellere Optimierer
Momentum OptimizationBeschleunigter Gradient nach NesterovAdaGradRMSPropAdam-OptimierungScheduling der LernrateVermeiden von Overfitting durch Regularisierungℓ1- und ℓ2-RegularisierungDrop-outMonte-Carlo-(MC-)-Drop-outMax-Norm-RegularisierungZusammenfassung und praktische TippsÜbungen
12 Eigene Modelle und Training mit TensorFlow
Ein kurzer Überblick über TensorFlowTensorFlow wie NumPy einsetzenTensoren und OperationenTensoren und NumPyTypumwandlungVariablenAndere DatenstrukturenModelle und Trainingsalgorithmen anpassenEigene VerlustfunktionModelle mit eigenen Komponenten sichern und ladenEigene Aktivierungsfunktionen, Initialisierer, Regularisierer und ConstraintsEigene MetrikenEigene SchichtenEigene ModelleVerlustfunktionen und Metriken auf Modell-Interna basieren lassenGradienten per Autodiff berechnenEigene TrainingsschleifenFunktionen und Graphen in TensorFlowAutoGraph und TracingRegeln für TF FunctionsÜbungen
13 Daten mit TensorFlow laden und vorverarbeiten
Die Data-APITransformationen verkettenDaten durchmischenDaten vorverarbeitenAlles zusammenbringenPrefetchingDatasets mit tf.keras verwendenDas TFRecord-FormatKomprimierte TFRecord-DateienEine kurze Einführung in Protocol BufferTensorFlow-ProtobufsExamples laden und parsenListen von Listen mit dem SequenceExample-Protobuf verarbeitenDie Eingabemerkmale vorverarbeitenKategorische Merkmale mit One-Hot-Vektoren codierenKategorische Merkmale mit Embeddings codierenVorverarbeitungsschichten von KerasTF TransformDas TensorFlow-Datasets-(TFDS-)ProjektÜbungen
14 Deep Computer Vision mit Convolutional Neural Networks
Der Aufbau des visuellen CortexConvolutional LayersFilterStapeln mehrerer Feature MapsImplementierung in TensorFlowSpeicherbedarfPooling LayersImplementierung in TensorFlowArchitekturen von CNNsLeNet-5AlexNetGoogLeNetVGGNetResNetXceptionSENet
Ein ResNet-34-CNN mit Keras implementieren
Vortrainierte Modelle aus Keras einsetzenVortrainierte Modelle für das Transfer LearningKlassifikation und LokalisierungObjekterkennungFully Convolutional NetworksYou Only Look Once (YOLO)Semantische SegmentierungÜbungen
15 Verarbeiten von Sequenzen mit RNNs und CNNs
Rekurrente Neuronen und SchichtenGedächtniszellenEin- und AusgabesequenzenRNNs trainierenEine Zeitserie vorhersagenGrundlegende MetrikenEin einfaches RNN implementierenDeep RNNsMehrere Zeitschritte vorhersagenArbeit mit langen SequenzenGegen instabile Gradienten kämpfenDas Problem des KurzzeitgedächtnissesÜbungen
16 Natürliche Sprachverarbeitung mit RNNs und Attention
Shakespearesche Texte mit einem Character-RNN erzeugenDen Trainingsdatensatz erstellenWie ein sequenzieller Datensatz aufgeteilt wirdDen sequenziellen Datensatz in mehrere Fenster unterteilenDas Char-RNN-Modell bauen und trainierenDas Char-RNN-Modell verwendenEinen gefälschten Shakespeare-Text erzeugenZustandsbehaftetes RNNSentimentanalyseMaskierenVortrainierte Embeddings wiederverwendenEin Encoder-Decoder-Netzwerk für die neuronale maschinelle ÜbersetzungBidirektionale RNNsBeam SearchAttention-MechanismenVisuelle AttentionAttention Is All You Need: Die Transformer-ArchitekturAktuelle Entwicklungen bei SprachmodellenÜbungen
17 Representation Learning und Generative Learning mit Autoencodern und GANs
Effiziente Repräsentation von DatenHauptkomponentenzerlegung mit einem untervollständigen linearen AutoencoderStacked AutoencoderEinen Stacked Autoencoder mit Keras implementierenVisualisieren der RekonstruktionenDen Fashion-MNIST-Datensatz visualisierenUnüberwachtes Vortrainieren mit Stacked AutoencoderKopplung von GewichtenTrainieren mehrerer Autoencoder nacheinanderConvolutional AutoencoderRekurrente AutoencoderDenoising AutoencoderSparse AutoencoderVariational AutoencoderFashion-MNIST-Bilder erzeugenGenerative Adversarial NetworksSchwierigkeiten beim Trainieren von GANsDeep Convolutional GANsProgressive wachsende GANsStyleGANsÜbungen
18 Reinforcement Learning
Lernen zum Optimieren von BelohnungenSuche nach PoliciesEinführung in OpenAI GymNeuronale Netze als PoliciesAuswerten von Aktionen: Das Credit-Assignment-ProblemPolicy-GradientenMarkov-EntscheidungsprozesseTemporal Difference LearningQ-LearningErkundungspoliciesApproximatives Q-Learning und Deep-Q-LearningDeep-Q-Learning implementierenDeep-Q-Learning-VariantenFeste Q-Wert-ZieleDouble DQNPriorisiertes Experience ReplayDueling DQN
Die TF-Agents-Bibliothek
TF-Agents installierenTF-Agents-UmgebungenUmgebungsspezifikationenUmgebungswrapper und Atari-VorverarbeitungTrainingsarchitekturDeep-Q-Netz erstellenDQN-Agenten erstellenReplay Buffer und Beobachter erstellenTrainingsmetriken erstellenCollect-Fahrer erstellenDataset erstellenTrainingsschleife erstellenÜberblick über beliebte RL-AlgorithmenÜbungen
19 TensorFlow-Modelle skalierbar trainieren und deployen
Ein TensorFlow-Modell ausführenTensorFlow Serving verwendenEinen Vorhersageservice auf der GCP AI Platform erstellenDen Vorhersageservice verwendenEin Modell auf ein Mobile oder Embedded Device deployen
Mit GPUs die Berechnungen beschleunigen
Sich eine eigene GPU zulegenEine mit GPU ausgestattete virtuelle Maschine einsetzenColaboratoryDas GPU-RAM verwaltenOperationen und Variablen auf Devices verteilenParalleles Ausführen auf mehreren DevicesModelle auf mehreren Devices trainierenParallelisierte ModelleParallelisierte DatenMit der Distribution Strategies API auf mehreren Devices trainierenEin Modell in einem TensorFlow-Cluster trainierenGroße Trainingsjobs auf der Google Cloud AI Platform ausführenBlack Box Hyperparameter Tuning auf der AI PlatformÜbungenVielen Dank!
A Lösungen zu den Übungsaufgaben
B Checkliste für Machine-Learning-Projekte
C Das duale Problem bei SVMs
D Autodiff
E Weitere verbreitete Architekturen neuronaler Netze
F Spezielle Datenstrukturen
G TensorFlow-Graphen
Fußnoten
Index
Über den Autor
Über die Übersetzer
Kolophon

Content preview from Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 2nd Edition

Mit GPUs die Berechnungen beschleunigen

In Kapitel 11 haben wir mehrere Techniken erwähnt, die das Trainieren erheblich beschleunigen können: bessere Initialisierung der Gewichte, Batchnormalisierung, ausgefeilte Optimierer und so weiter. Allerdings kann das Trainieren eines großen neuronalen Netzes auf einem einzelnen Computer mit einer einzelnen CPU trotz dieser Techniken Tage oder sogar Wochen dauern.

In diesem Abschnitt werden wir uns anschauen, wie wir unsere Modelle mithilfe von GPUs beschleunigen können. Auch werden Sie erfahren, wie Sie die Berechnungen auf mehrere Devices verteilen können, unter anderem auf die CPU und mehrere GPU-Devices (siehe Abbildung 19-9). Zunächst werden wir alles auf einer einzelnen Maschine laufen lassen, aber ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow, 3rd Edition

Publisher Resources

ISBN: 9781098124588

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills