book

Deep Learning mit R und Keras - Das Praxis-Handbuch von Entwicklern von Keras und RStudio

Name: Deep Learning mit R und Keras - Das Praxis-Handbuch von Entwicklern von Keras und RStudio
ISBN: 9783958458956

by Francois Chollet, J.J. Allaire

October 2018

Intermediate to advanced

448 pages

11h 53m

German

mitp Verlag

Read now

Unlock full access

Impressum
Vorwort
Einleitung
Danksagungen
Über die Autoren
Teil I: Grundlagen des Deep Learnings
Kapitel 1: Was ist Deep Learning?
1.1 Künstliche Intelligenz, Machine Learning und Deep Learning1.1.1 Künstliche Intelligenz1.1.2 Machine Learning1.1.3 Die Repräsentation anhand der Daten erlernen1.1.4 Das »Deep« in Deep Learning1.1.5 Deep Learning in drei Diagrammen erklärt1.1.6 Was Deep Learning heute schon leisten kann1.1.7 Schenken Sie dem kurzfristigen Hype keinen Glauben1.1.8 Das Versprechen der KI1.2 Bevor es Deep Learning gab: eine kurze Geschichte des Machine Learnings1.2.1 Probabilistische Modellierung1.2.2 Die ersten neuronalen Netze1.2.3 Kernel-Methoden1.2.4 Entscheidungsbäume, Random Forests und Gradient Boosting Machines1.2.5 Zurück zu neuronalen Netzen1.2.6 Das Besondere am Deep Learning1.2.7 Der Stand des modernen Machine Learnings1.3 Warum Deep Learning? Und warum jetzt?1.3.1 Hardware1.3.2 Daten1.3.3 Algorithmen1.3.4 Eine neue Investitionswelle1.3.5 Die Demokratisierung des Deep Learnings1.3.6 Bleibt es so?
Kapitel 2: Bevor es losgeht: die mathematischen Bausteine eines neuronalen Netzes
2.1 Ein erster Blick auf ein neuronales Netz2.2 Datenrepräsentationen2.2.1 Skalare (0-D-Tensoren)2.2.2 Vektoren (1-D-Tensoren)2.2.3 Matrizen (2-D-Tensoren)2.2.4 3-D-Tensoren und höherdimensionale Tensoren2.2.5 Die wichtigsten Attribute2.2.6 Bearbeiten von Tensoren in R2.2.7 Datenstapel2.2.8 Beispiele für Datentensoren aus der Praxis2.2.9 Vektordaten2.2.10 Zeitreihen oder sequenzielle Daten2.2.11 Bilddaten2.2.12 Videodaten2.3 Das Getriebe von neuronalen Netzen: Tensoroperationen2.3.1 Elementweise Operationen2.3.2 Operationen mit Tensoren unterschiedlicher Dimensionalität2.3.3 Tensorprodukt2.3.4 Tensoren umformen2.3.5 Geometrische Interpretation von Tensoroperationen2.3.6 Eine geometrische Interpretation des Deep Learnings2.4 Der Antrieb von neuronalen Netzen: gradientenbasierte Optimierung2.4.1 Was ist eine Ableitung?2.4.2 Ableitung einer Tensoroperation: der Gradient2.4.3 Stochastisches Gradientenabstiegsverfahren2.4.4 Ableitungen verketten: der Backpropagation-Algorithmus2.5 Zurück zum ersten Beispiel2.6 Zusammenfassung Kapitel 2
Kapitel 3: Einführung in neuronale Netze
3.1 Aufbau eines neuronalen Netzes3.1.1 Layer: Bausteine des Deep Learnings3.1.2 Modelle: vernetzte Layer3.1.3 Verlustfunktionen und Optimierer: Konfiguration des Lernvorgangs3.2 Einführung in Keras3.2.1 Keras, TensorFlow, Theano und CNTK3.2.2 Keras installieren3.2.3 Mit Keras entwickeln: eine kurze Übersicht3.3 Einrichtung eines Deep-Learning-Rechners3.3.1 Zwei Möglichkeiten, Keras zum Laufen zu bringen3.3.2 Pro und Kontra: Deep Learning in der Cloud ausführen3.3.3 Für Deep Learning geeignete GPUs3.4 Klassifikation von Filmbewertungen: ein Beispiel für eine Binärklassifikation3.4.1 Die IMDb-Datensammlung3.4.2 Daten vorbereiten3.4.3 Neuronales Netz erzeugen3.4.4 Validierung des Ansatzes3.4.5 Vorhersagen über neue Daten mit einem trainierten neuronalen Netz treffen3.4.6 Weitere Experimente3.4.7 Zusammenfassung3.5 Ein Beispiel für eine Mehrfachklassifikation: Klassifikation von Nachrichtenmeldungen3.5.1 Die Reuters-Datensammlung3.5.2 Daten vorbereiten3.5.3 Neuronales Netz erzeugen3.5.4 Validierung des Ansatzes3.5.5 Vorhersagen über neue Daten treffen3.5.6 Eine weitere Möglichkeit zur Handhabung der Klassenbezeichnungen und der Verlustfunktion3.5.7 Hinreichend große zwischenliegende Layer sind wichtig3.5.8 Weitere Experimente3.5.9 Zusammenfassung3.6 Ein Beispiel für eine Regression: Vorhersage der Kaufpreise von Häusern3.6.1 Die Boston-Housing-Price-Datensammlung3.6.2 Daten vorbereiten3.6.3 Neuronales Netz erzeugen3.6.4 K-fache Kreuzvalidierung des Ansatzes3.6.5 Zusammenfassung3.7 Zusammenfassung Kapitel 3
Kapitel 4: Grundlagen des Machine Learnings
4.1 Vier Teilgebiete des Machine Learnings4.1.1 Überwachtes Lernen4.1.2 Unüberwachtes Lernen4.1.3 Selbstüberwachtes Lernen4.1.4 Bestärkendes Lernen4.2 Bewertung von Machine-Learning-Modellen4.2.1 Trainings-, Validierungs- und Testmengen4.2.2 Worauf zu achten ist4.3 Datenvorverarbeitung, Merkmalserstellung und Erlernen von Merkmalen4.3.1 Datenvorverarbeitung für neuronale Netze4.3.2 Merkmalserstellung4.4 Überanpassung und Unteranpassung4.4.1 Das neuronale Netz verkleinern4.4.2 Regularisierung der Gewichte4.4.3 Dropout-Regularisierung4.5 Ein allgemeiner Machine-Learning-Workflow4.5.1 Definition der Aufgabe und Zusammenstellen einer Datenmenge4.5.2 Auswahl eines Erfolgskriteriums4.5.3 Auswahl einer Bewertungsmethode4.5.4 Daten vorbereiten4.5.5 Entwicklung eines Modells, das besser funktioniert als zufälliges Raten4.5.6 Hochskalieren: Entwicklung eines Modells mit Überanpassung4.5.7 Regularisierung des Modells und Abstimmung der Hyperparameter4.6 Zusammenfassung Kapitel 4

Teil II: Deep Learning in der Praxis
Kapitel 5: Deep Learning und maschinelles Sehen
5.1 Einführung in CNNs5.1.1 Die Faltungsoperation5.1.2 Die Max-Pooling-Operation5.2 Ein CNN von Grund auf mit einer kleinen Datenmenge trainieren5.2.1 Die Bedeutung des Deep Learnings für Aufgaben mit kleinen Datenmengen5.2.2 Daten herunterladen5.2.3 Erstellen des neuronalen Netzes5.2.4 Datenvorverarbeitung5.2.5 Datenaugmentation5.3 Verwendung eines vortrainierten CNNs5.3.1 Merkmalsextraktion5.3.2 Feinabstimmung5.3.3 Zusammenfassung5.4 Visualisierung: Was CNNs erlernen können5.4.1 Visualisierung zwischenliegender Aktivierungen5.4.2 Visualisierung von CNN-Filtern5.4.3 Visualisierung der Heatmaps der Klassenaktivierung5.5 Zusammenfassung Kapitel 5
Kapitel 6: Deep Learning, Text und sequenzielle Daten
6.1 Textdaten6.1.1 One-hot-Codierung von Wörtern und Zeichen6.1.2 Worteinbettung6.1.3 Zusammengefasst: von reinem Text zu Worteinbettungen6.1.4 Zusammenfassung6.2 Rekurrente neuronale Netze6.2.1 Ein rekurrenter Layer in Keras6.2.2 LSTM- und GRU-Layer6.2.3 Ein konkretes LSTM-Beispiel in Keras6.2.4 Zusammenfassung6.3 Erweiterte Nutzung rekurrenter neuronaler Netze6.3.1 Temperaturvorhersage6.3.2 Daten vorbereiten6.3.3 Eine vernünftige Abschätzung ohne Machine Learning6.3.4 Ein elementarer Machine-Learning-Ansatz6.3.5 Ein erstes RNN6.3.6 Rekurrentes Dropout-Verfahren zum Verhindern einer Überanpassung6.3.7 Hintereinanderschaltung rekurrenter Layer6.3.8 Bidirektionale RNNs6.3.9 Noch einen Schritt weiter gehen6.3.10 Zusammenfassung6.4 Verarbeitung von Sequenzen mit CNNs6.4.1 Eindimensionale Faltung sequenzieller Daten6.4.2 Eindimensionales Pooling sequenzieller Daten6.4.3 Implementierung eines eindimensionalen CNNs6.4.4 Lange Sequenzen mit einer Kombination aus CNNs und RNNs verarbeiten6.4.5 Zusammenfassung6.5 Zusammenfassung Kapitel 6
Kapitel 7: Bewährte Verfahren des Deep Learnings
7.1 Jenseits des Sequential-Modells: die funktionale Keras-API7.1.1 Einführung in die funktionale API7.1.2 Modelle mit mehreren Eingaben7.1.3 Modelle mit mehreren Ausgaben7.1.4 Gerichtete azyklische Graphen von Layern7.1.5 Gemeinsam genutzte Gewichte von Layern7.1.6 Modelle als Layer7.1.7 Zusammenfassung7.2 Deep-Learning-Modelle mit Callbacks und TensorBoard untersuchen und überwachen7.2.1 Beeinflussung eines Modells während des Trainings durch Callbacks7.2.2 Einführung in das Visualisierungs-Framework TensorBoard7.2.3 Zusammenfassung7.3 Modelle richtig ausreizen7.3.1 Erweiterte Architekturmuster7.3.2 Hyperparameteroptimierung7.3.3 Ensemblemodelle7.3.4 Zusammenfassung7.4 Zusammenfassung Kapitel 7
Kapitel 8: Generatives Deep Learning
8.1 Texterzeugung mit LSTM-Modellen8.1.1 Eine kurze Geschichte generativer RNNs8.1.2 Wie erzeugt man sequenzielle Daten?8.1.3 Die Bedeutung der Sampling-Strategie8.1.4 Implementierung der LSTM-Texterzeugung für Zeichen8.1.5 Zusammenfassung8.2 DeepDream8.2.1 DeepDream in Keras implementieren8.2.2 Zusammenfassung8.3 Stilübertragung mit dem Neural-Style-Algorithmus8.3.1 Verlustfunktion für den Inhalt8.3.2 Verlustfunktion für den Stil8.3.3 Stilübertragung in Keras8.3.4 Zusammenfassung8.4 Bilderzeugung mit Variational Autoencoders8.4.1 Sampling eines latenten Bilderraums8.4.2 Konzeptvektoren für das Bearbeiten von Bildern8.4.3 Variational Autoencoders8.4.4 Zusammenfassung8.5 Einführung in Generative-Adversarial-Netze8.5.1 Eine schematische GAN-Implementierung8.5.2 Einige nützliche Tricks8.5.3 Der Generator8.5.4 Der Diskriminator8.5.5 Das gegnerische Netz8.5.6 Training des DCGAN8.5.7 Zusammenfassung8.6 Zusammenfassung Kapitel 8
Kapitel 9: Schlussfolgerungen
9.1 Kernkonzepte im Überblick9.1.1 Verschiedene Ansätze der KI9.1.2 Die Besonderheiten des Deep Learnings9.1.3 Was ist vom Deep Learning zu halten?9.1.4 Wichtige zugrunde liegende Technologien9.1.5 Der allgemeine Machine-Learning-Workflow9.1.6 Wichtige Netzarchitekturen9.1.7 Der Raum der Möglichkeiten9.2 Grenzen des Deep Learnings9.2.1 Das Risiko der Vermenschlichung von Deep-Learning-Modellen9.2.2 Lokale und extreme Generalisierung9.2.3 Zusammenfassung9.3 Die Zukunft des Deep Learnings9.3.1 Modelle als Programme9.3.2 Jenseits von Backpropagation und differenzierbaren Layern9.3.3 Automatisiertes Machine Learning9.3.4 Beständiges Lernen und Wiederverwendung modularer Subroutinen9.3.5 Langfristige Aussichten9.4 Auf dem Laufendem bleiben9.4.1 Praktische Erfahrungen sammeln mit Kaggle9.4.2 Aktuelle Entwicklungen auf der arXiv-Website nachlesen9.4.3 Erkundung des Keras-Ökosystems9.5 Schlusswort
Anhang A: Installation von Keras und der Erweiterungen unter Ubuntu
A.1 Überblick über den InstallationsvorgangA.2 Installation der erforderlichen ErweiterungenA.3 Einrichtung der GPU-UnterstützungA.3.1 CUDA installierenA.3.2 cuDNN installierenA.3.3 Die CUDA-UmgebungA.4 Keras und TensorFlow installieren
Anhang B: RStudio-Server auf einer EC2-GPU-Instanz betreiben
B.1 Gründe, Deep Learning auf AWS zu betreibenB.2 Gründe, auf AWS zu verzichtenB.3 Einrichtung einer AWS-GPU-InstanzB.3.1 R und RStudio installierenB.3.2 CUDA konfigurierenB.3.3 Voraussetzungen für KerasB.4 Auf den RStudio-Server zugreifen‌B.5 Keras installieren

Content preview from Deep Learning mit R und Keras - Das Praxis-Handbuch von Entwicklern von Keras und RStudio

Kapitel 6: Deep Learning, Text und sequenzielle Daten

Die Themen in diesem Kapitel:

Textdaten in nützliche Repräsentationen umwandeln
Rekurrente neuronale Netze (RNNs)
Eindimensionale CNNs zur Verarbeitung sequenzieller Daten verwenden

In diesem Kapitel werden wir Deep-Learning-Modelle erkunden, die Texte (in Form von Wortsequenzen oder Zeichenfolgen), Zeitreihen und sequenzielle Daten im Allgemeinen verarbeiten können. Die beiden grundlegenden Deep-Learning-Algorithmen für die sequenzielle Verarbeitung von Daten sind rekurrente neuronale Netze (RNNs)‌ und 1-D-CNNs, die eindimensionale Variante der CNNs, die wir in den vorangegangenen Kapiteln erörtert haben. In diesem Kapitel werden wir beide Ansätze betrachten.

Die Anwendungsmöglichkeiten ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Deep Learning mit Python und Keras - Das Praxis-Handbuch vom Entwickler der Keras-Bibliothek

Publisher Resources

ISBN: 9783958458956

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

Deep Learning mit R und Keras - Das Praxis-Handbuch von Entwicklern von Keras und RStudio

by Francois Chollet, J.J. Allaire

Kapitel 6: Deep Learning, Text und sequenzielle Daten

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.