book

Machine Learning mit Python und Keras, TensorFlow 2 und Scikit-Learn

by Sebastian Raschka, Vahid Mirjalili

March 2021

Intermediate to advanced

768 pages

19h 51m

German

mitp Verlag

Read now

Unlock full access

Einstieg in Machine LearningZum Inhalt des BuchesWas Sie benötigenCodebeispiele herunterladenKonventionen im Buch
1.1 Intelligente Maschinen, die Daten in Wissen verwandeln1.2 Die drei Arten des Machine Learnings1.2.1 Mit überwachtem Lernen Vorhersagen treffen1.2.2 Interaktive Aufgaben durch Reinforcement Learning lösen1.2.3 Durch unüberwachtes Lernen verborgene Strukturen erkennen1.3 Grundlegende Terminologie und Notation1.3.1 Im Buch verwendete Notation und Konventionen1.3.2 Terminologie1.4 Entwicklung eines Systems für das Machine Learning1.4.1 Vorverarbeitung: Daten in Form bringen1.4.2 Trainieren und Auswählen eines Vorhersagemodells1.4.3 Bewertung von Modellen und Vorhersage anhand unbekannter Dateninstanzen1.5 Machine Learning mit Python1.5.1 Python und Python-Pakete installieren1.5.2 Verwendung der Python-Distribution Anaconda1.5.3 Pakete für wissenschaftliches Rechnen, Data Science und Machine Learning1.6 Zusammenfassung
2.1 Künstliche Neuronen: Ein kurzer Blick auf die Anfänge des Machine Learnings2.1.1 Formale Definition eines künstlichen Neurons2.1.2 Die Perzeptron-Lernregel2.2 Implementierung eines Perzeptron-Lernalgorithmus in Python2.2.1 Eine objektorientierte Perzeptron-API2.2.2 Trainieren eines Perzeptron-Modells mit der Iris-Datensammlung2.3 Adaptive lineare Neuronen und die Konvergenz des Lernens2.3.1 Straffunktionen mit dem Gradientenabstiegsverfahren minimieren2.3.2 Implementierung eines adaptiven linearen Neurons in Python2.3.3 Verbesserung des Gradientenabstiegsverfahrens durch Merkmalstandardisierung2.3.4 Large Scale Machine Learning und stochastisches Gradientenabstiegsverfahren2.4 Zusammenfassung
3.1 Auswahl eines Klassifikationsalgorithmus3.2 Erste Schritte mit scikit-learn: Trainieren eines Perzeptrons3.3 Klassenwahrscheinlichkeiten durch logistische Regression modellieren3.3.1 Logistische Regression und bedingte Wahrscheinlichkeiten3.3.2 Gewichte der logistischen Straffunktion ermitteln3.3.3 Konvertieren einer Adaline-Implementierung in einen Algorithmus für eine logistische Regression3.3.4 Trainieren eines logistischen Regressionsmodells mit scikit-learn3.3.5 Überanpassung durch Regularisierung verhindern3.4 Maximum-Margin-Klassifikation mit Support Vector Machines3.4.1 Maximierung des Randbereichs3.4.2 Handhabung des nicht linear trennbaren Falls mit Schlupfvariablen3.4.3 Alternative Implementierungen in scikit-learn3.5 Nichtlineare Aufgaben mit einer Kernel-SVM lösen3.5.1 Kernel-Methoden für linear nicht trennbare Daten3.5.2 Mit dem Kernel-Trick Hyperebenen in höherdimensionalen Räumen finden3.6 Lernen mit Entscheidungsbäumen3.6.1 Maximierung des Informationsgewinns: Daten ausreizen3.6.2 Konstruktion eines Entscheidungsbaums3.6.3 Mehrere Entscheidungsbäume zu einem Random Forest kombinieren3.7 k-Nearest-Neighbors: Ein Lazy-Learning-Algorithmus3.8 Zusammenfassung
4.1 Umgang mit fehlenden Daten4.1.1 Fehlende Werte in Tabellendaten4.1.2 Instanzen oder Merkmale mit fehlenden Daten entfernen4.1.3 Fehlende Werte ergänzen4.1.4 Die Schätzer-API von scikit-learn4.2 Handhabung kategorialer Daten4.2.1 Codierung kategorialer Daten mit pandas4.2.2 Zuweisung von ordinalen Merkmalen4.2.3 Codierung der Klassenbezeichnungen4.2.4 One-hot-Codierung der nominalen Merkmale4.3 Aufteilung einer Datensammlung in Trainings- und Testdaten4.4 Anpassung der Merkmale4.5 Auswahl aussagekräftiger Merkmale4.5.1 L1- und L2-Regularisierung als Straffunktionen4.5.2 Geometrische Interpretation der L2-Regularisierung4.5.3 Dünn besetzte Lösungen mit L1-Regularisierung4.5.4 Algorithmen zur sequenziellen Auswahl von Merkmalen4.6 Beurteilung der Bedeutung von Merkmalen mit Random Forests4.7 Zusammenfassung
5.1 Unüberwachte Dimensionsreduktion durch Hauptkomponentenanalyse5.1.1 Schritte bei der Hauptkomponentenanalyse5.1.2 Schrittweise Extraktion der Hauptkomponenten5.1.3 Totale Varianz und erklärte Varianz5.1.4 Merkmalstransformation5.1.5 Hauptkomponentenanalyse mit scikit-learn5.2 Überwachte Datenkomprimierung durch lineare Diskriminanzanalyse5.2.1 Hauptkomponentenanalyse kontra lineare Diskriminanzanalyse5.2.2 Die interne Funktionsweise der linearen Diskriminanzanalyse5.2.3 Berechnung der Streumatrizen5.2.4 Auswahl linearer Diskriminanten für den neuen Merkmalsunterraum5.2.5 Projektion in den neuen Merkmalsraum5.2.6 LDA mit scikit-learn5.3 Kernel-Hauptkomponentenanalyse für nichtlineare Zuordnungen verwenden5.3.1 Kernel-Funktionen und der Kernel-Trick5.3.2 Implementierung einer Kernel-Hauptkomponentenanalyse in Python5.3.3 Projizieren neuer Datenpunkte5.3.4 Kernel-Hauptkomponentenanalyse mit scikit-learn5.4 Zusammenfassung

6.1 Arbeitsabläufe mit Pipelines optimieren6.1.1 Die Wisconsin-Brustkrebs-Datensammlung6.1.2 Transformer und Schätzer in einer Pipeline kombinieren6.2 Beurteilung des Modells durch k-fache Kreuzvalidierung6.2.1 Holdout-Methode6.2.2 k-fache Kreuzvalidierung6.3 Algorithmen mit Lern- und Validierungskurven debuggen6.3.1 Probleme mit Bias und Varianz anhand von Lernkurven erkennen6.3.2 Überanpassung und Unteranpassung anhand von Validierungskurven erkennen6.4 Feinabstimmung eines Lernmodells durch Grid Search6.4.1 Optimierung der Hyperparameter durch Grid Search6.4.2 Algorithmenauswahl durch verschachtelte Kreuzvalidierung6.5 Verschiedene Kriterien zur Leistungsbewertung6.5.1 Interpretation einer Verwechslungsmatrix6.5.2 Optimierung der Genauigkeit und der Trefferquote eines Klassifikationsmodells6.5.3 Receiver-Operating-Characteristic-Diagramme6.5.4 Bewertungskriterien für Mehrklassen-Klassifikationen6.6 Handhabung unausgewogener Klassenverteilung6.7 Zusammenfassung
7.1 Ensemble Learning‌7.2 Klassifikatoren durch Mehrheitsentscheidung kombinieren7.2.1 Implementierung eines einfachen Mehrheitsentscheidungs-Klassifikators7.2.2 Vorhersagen nach dem Mehrheitsentscheidungsprinzip treffen7.3 Bewertung und Abstimmung des Klassifikator-Ensembles7.4 Bagging: Klassifikator-Ensembles anhand von Bootstrap-Stichproben entwickeln7.4.1 Bagging kurz zusammengefasst7.4.2 Klassifikation der Wein-Datensammlung durch Bagging7.5 Schwache Klassifikatoren durch adaptives Boosting verbessern7.5.1 Funktionsweise des Boostings7.5.2 AdaBoost mit scikit-learn anwenden7.6 Zusammenfassung
8.1 Die IMDb-Filmdatenbank8.1.1 Herunterladen der Datensammlung8.1.2 Vorverarbeiten der Filmbewertungsdaten8.2 Das Bag-of-words-Modell8.2.1 Wörter in Merkmalsvektoren umwandeln8.2.2 Beurteilung der Wortrelevanz durch das Tf-idf-Maß8.2.3 Textdaten bereinigen8.2.4 Dokumente in Tokens zerlegen8.3 Ein logistisches Regressionsmodell für die Dokumentklassifikation trainieren8.4 Verarbeitung großer Datenmengen: Online-Algorithmen und Out-of-Core Learning8.5 Topic Modeling mit latenter Dirichlet-Allokation8.5.1 Aufteilung von Texten mit der LDA8.5.2 LDA mit scikit-learn8.6 Zusammenfassung
9.1 Serialisierung angepasster Schätzer mit scikit-learn9.2 Einrichtung einer SQLite-Datenbank zum Speichern von Daten9.3 Entwicklung einer Webanwendung mit Flask9.3.1 Die erste Webanwendung mit Flask9.3.2 Formularvalidierung und -ausgabe9.4 Der Filmbewertungsklassifikator als Webanwendung9.4.1 Dateien und Ordner – die Verzeichnisstruktur9.4.2 Implementierung der Hauptanwendung app.py9.4.3 Einrichtung des Bewertungsformulars9.4.4 Eine Vorlage für die Ergebnisseite erstellen9.5 Einrichtung der Webanwendung auf einem öffentlich zugänglichen Webserver9.5.1 Erstellen eines Benutzerkontos bei PythonAnywhere9.5.2 Hochladen der Filmbewertungsanwendung9.5.3 Updaten des Filmbewertungsklassifikators9.6 Zusammenfassung
10.1 Lineare Regression10.1.1 Ein einfaches lineares Regressionsmodell10.1.2 Multiple lineare Regression10.2 Die Boston-Housing-Datensammlung10.2.1 Einlesen der Datenmenge in einen DataFrame10.2.2 Visualisierung der wichtigen Eigenschaften einer Datenmenge10.2.3 Zusammenhänge anhand der Korrelationsmatrix erkennen10.3 Implementierung eines linearen Regressionsmodells mit der Methode der kleinsten Quadrate10.3.1 Berechnung der Regressionsparameter mit dem Gradientenabstiegsverfahren10.3.2 Schätzung der Koeffizienten eines Regressionsmodells mit scikit-learn10.4 Anpassung eines robusten Regressionsmodells mit dem RANSAC-Algorithmus10.5 Bewertung der Leistung linearer Regressionsmodelle10.6 Regularisierungsverfahren für die Regression einsetzen10.7 Polynomiale Regression: Umwandeln einer linearen Regression in eine Kurve10.7.1 Hinzufügen polynomialer Terme mit scikit-learn10.7.2 Modellierung nichtlinearer Zusammenhänge in der Boston-Housing-Datensammlung10.8 Handhabung nichtlinearer Beziehungen mit Random Forests10.8.1 Entscheidungsbaum-Regression10.8.2 Random-Forest-Regression10.9 Zusammenfassung
11.1 Gruppierung von Objekten nach Ähnlichkeit mit dem k-Means-Algorithmus11.1.1 k-Means-Clustering mit scikit-learn11.1.2 Der k-Means++-Algorithmus11.1.3 »Crisp« und »soft« Clustering11.1.4 Die optimale Anzahl der Cluster mit dem Ellenbogenkriterium ermitteln11.1.5 Quantifizierung der Clustering-Güte mit Silhouettendiagrammen11.2 Cluster als hierarchischen Baum organisieren11.2.1 Gruppierung von Clustern11.2.2 Hierarchisches Clustering mittels einer Distanzmatrix11.2.3 Dendrogramme und Heatmaps verknüpfen11.2.4 Agglomeratives Clustering mit scikit-learn11.3 Bereiche hoher Dichte mit DBSCAN ermitteln11.4 Zusammenfassung
12.1 Modellierung komplexer Funktionen mit künstlichen neuronalen Netzen12.1.1 Einschichtige neuronale Netze12.1.2 Mehrschichtige neuronale Netzarchitektur12.1.3 Aktivierung eines neuronalen Netzes durch Vorwärtspropagation12.2 Klassifikation handgeschriebener Ziffern12.2.1 Die MNIST-Datensammlung12.2.2 Implementierung eines mehrschichtigen Perzeptrons12.3 Trainieren eines künstlichen neuronalen Netzes12.3.1 Berechnung der logistischen Straffunktion12.3.2 Ein Gespür für die Backpropagation entwickeln12.3.3 Trainieren neuronaler Netze durch Backpropagation12.4 Konvergenz in neuronalen Netzen12.5 Abschließende Bemerkungen zur Implementierung neuronaler Netze12.6 Zusammenfassung
13.1 TensorFlow und Trainingsleistung13.1.1 Herausforderungen13.1.2 Was genau ist TensorFlow?13.1.3 TensorFlow erlernen13.2 Erste Schritte mit TensorFlow13.2.1 TensorFlow installieren13.2.2 Tensoren in TensorFlow erstellen13.2.3 Datentyp und Format eines Tensors ändern13.2.4 Anwendung mathematischer Operationen auf Tensoren13.2.5 Tensoren aufteilen, stapeln und verknüpfen13.3 Eingabe-Pipelines mit tf.data erstellen – die Dataset-API von TensorFlow13.3.1 Ein TensorFlow-Dataset anhand vorhandener Tensoren erstellen13.3.2 Zwei Tensoren zu einer Datenmenge vereinen13.3.3 Durchmischen, Batch erstellen und wiederholen13.3.4 Erstellen einer Datenmenge anhand lokal gespeicherter Dateien13.3.5 Zugriff auf die Datenmengen der tensorflow_datasets-Bibliothek13.4 Entwicklung eines NN-Modells mit TensorFlow13.4.1 Die Keras-API (tf.keras) von TensorFlow13.4.2 Entwicklung eines linearen Regressionsmodells13.4.3 Trainieren des Modells mit den Methoden .compile() und .fit()13.4.4 Entwicklung eines mehrschichtigen Perzeptrons zur Klassifikation der Iris-Datensammlung13.4.5 Bewertung des trainierten Modells mit der Testdatenmenge13.4.6 Das trainierte Modell speichern und einlesen13.5 Auswahl der Aktivierungsfunktionen mehrschichtiger neuronaler Netze13.5.1 Die logistische Funktion kurz zusammengefasst13.5.2 Wahrscheinlichkeiten bei der Mehrklassen-Klassifikation mit der softmax-Funktion schätzen13.5.3 Verbreiterung des Ausgabespektrums mittels Tangens hyperbolicus13.5.4 Aktivierung mittels ReLU13.6 Zusammenfassung
14.1 Grundlegende Merkmale von TensorFlow14.2 TensorFlows Berechnungsgraphen: Migration nach TensorFlow v214.2.1 Funktionsweise von Berechnungsgraphen14.2.2 Erstellen eines Graphen in TensorFlow v1.x14.2.3 Migration eines Graphen nach TensorFlow v214.2.4 Eingabedaten einlesen mit TensorFlow v1.x14.2.5 Eingabedaten einlesen mit TensorFlow v214.2.6 Beschleunigung von Berechnungen mit Funktionsdekoratoren14.3 TensorFlows Variablenobjekte zum Speichern und Aktualisieren von Modellparametern14.4 Gradientenberechnung durch automatisches Differenzieren und GradientTape14.4.1 Berechnung der Gradienten der Verlustfunktion bezüglich trainierbarer Variablen14.4.2 Berechnung der Gradienten bezüglich nicht trainierbarer Tensoren14.4.3 Ressourcen für mehrfache Gradientenberechnung erhalten14.5 Vereinfachung der Implementierung gebräuchlicher Architekturen mit der Keras-API14.5.1 Lösen einer XOR-Klassifikationsaufgabe14.5.2 Flexiblere Modellerstellung mit Keras’ funktionaler API14.5.3 Modelle mit Keras’ »Model«-Klasse implementieren14.5.4 Benutzerdefinierte Keras-Schichten14.6 TensorFlows Schätzer14.6.1 Merkmalsspalten14.6.2 Machine Learning mit vorgefertigten Schätzern14.6.3 Klassifikation handgeschriebener Ziffern mit Schätzern14.6.4 Benutzerdefinierte Schätzer anhand eines Keras-Modells erstellen14.7 Zusammenfassung
15.1 Bausteine von Convolutional Neural Networks15.1.1 CNNs und Merkmalshierarchie15.1.2 Diskrete Faltungen15.1.3 Subsampling15.2 Implementierung eines CNNs15.2.1 Verwendung mehrerer Eingabe- oder Farbkanäle15.2.2 Regularisierung eines neuronalen Netzes mit Dropout15.2.3 Verlustfunktionen für Klassifikationen15.3 Implementierung eines tiefen CNNs mit TensorFlow15.3.1 Die mehrschichtige CNN-Architektur15.3.2 Einlesen und Vorverarbeiten der Daten15.3.3 Implementierung eines CNNs mit TensorFlows Keras-API15.4 Klassifikation des Geschlechts anhand von Porträtfotos mit einem CNN15.4.1 Einlesen der CelebA-Datenmenge15.4.2 Bildtransformation und Datenaugmentation15.4.3 Training eines CNN-Klassifikators15.5 Zusammenfassung
16.1 Sequenzielle Daten16.1.1 Modellierung sequenzieller Daten: Die Reihenfolge ist von Bedeutung16.1.2 Repräsentierung von Sequenzen16.1.3 Verschiedene Kategorien der Sequenzmodellierung16.2 Sequenzmodellierung mit RNNs16.2.1 Struktur und Ablauf eines RNNs16.2.2 Aktivierungen eines RNNs berechnen16.2.3 Rückkopplung mit der verdeckten Schicht oder der Ausgabeschicht16.2.4 Probleme bei der Erkennung weitreichender Interaktionen16.2.5 LSTM-Speicherzellen16.3 Implementierung von RNNs zur Sequenzmodellierung mit TensorFlow16.3.1 Projekt 1: Vorhersage der Stimmungslage von IMDb-Filmbewertungen16.3.2 Projekt 2: Sprachmodellierung durch Zeichen mit TensorFlow16.4 Sprache mit dem Transformer-Modell verstehen16.4.1 Der Mechanismus der Selbst-Aufmerksamkeit16.4.2 Multi-Head-Attention und Transformer-Block16.5 Zusammenfassung
17.1 Einführung in GANs17.1.1 Autoencoder17.1.2 Generative Modelle zum Synthetisieren neuer Daten17.1.3 Mit GANs neue Beispiele erzeugen17.1.4 Die Verlustfunktion des Generator- und Diskriminator-Netzes in einem GAN-Modell17.2 Ein GAN von Grund auf implementieren17.2.1 GAN-Modelle mit Google Colab trainieren17.2.2 Implementierung der Generator- und Diskriminator-Netze17.2.3 Definition der Trainingsdatenmenge17.2.4 Trainieren des GAN-Modells17.3 Verbesserung der Qualität synthetisierter Bilder durch Convolutional GAN und Wasserstein-GAN17.3.1 Transponierte Faltung17.3.2 Batchnormierung17.3.3 Implementierung des Generators und des Diskriminators17.3.4 Maße für den Unterschied zwischen zwei Verteilungen17.3.5 Verwendung der EM-Distanz in der Praxis17.3.6 Strafterm17.3.7 Implementierung von WGAN-GP zum Trainieren des DCGAN-Modells17.3.8 Zusammenbrechen des Verfahrens17.4 Weitere GAN-Anwendungen17.5 Zusammenfassung
18.1 Einführung: Aus Erfahrung lernen18.1.1 Reinforcement Learning18.1.2 Definition der Agent-Umgebung-Schnittstelle für ein Reinforcement-Learning-System18.2 Theoretische Grundlagen des RLs18.2.1 Markov-Entscheidungsprozesse18.2.2 Mathematische Formulierung von Markov-Entscheidungsprozessen18.2.3 RL-Terminologie: Return, Policy und Wertfunktion18.2.4 Dynamische Programmierung und Bellman-Gleichung18.3 Reinforcement-Learning-Algorithmen18.3.1 Dynamische Programmierung18.3.2 Reinforcement Learning mit Monte-Carlo-Algorithmen18.3.3 Temporal Difference Learning18.4 Implementierung eines RL-Algorithmus18.4.1 OpenAI Gym18.4.2 Lösung der Grid-World-Aufgabe mit Q-Learning18.4.3 Ein Blick auf Deep Q-Learning18.5 Zusammenfassung und Schlusswort

Content preview from Machine Learning mit Python und Keras, TensorFlow 2 und Scikit-Learn

Über die Autoren

Sebastian Raschka erlangte seinen Doktortitel an der Michigan State University. Er befasst sich vornehmlich mit Fragen der Berechnung biologischer Phänomene und des Machine Learnings. Im Sommer 2018 wurde er Assistant Professor für Statistik an der University of Wisconsin-Madison. Bei seiner Forschungsarbeit geht es insbesondere um die Entwicklung neuer Deep-Learning-Architekturen zum Lösen von Aufgaben im Fachgebiet Biometrie.

Er verfügt über jahrelange Erfahrung in der Python-Programmierung und leitete mehrere Seminare über praktische Data-Science-Anwendungen, Machine Learning und Deep Learning, unter anderem eine Einführung in Machine Learning auf der SciPy-Konferenz, der maßgeblichen Veranstaltung für wissenschaftliche Anwendungen ...