Deep Learning -- Grundlagen, aktuelle Verfahren und Algorithmen, neue Forschungsansätze

Book description

Das umfassende Handbuch - Grundlagen, aktuelle Verfahren und Algorithmen, neue Forschungsansätze

  • Mathematische Grundlagen für Machine und Deep Learning
  • Umfassende Behandlung zeitgemäßer Verfahren: tiefe Feedforward-Netze, Regularisierung, Performance-Optimierung sowie CNNs, Rekurrente und Rekursive Neuronale Netze
  • Zukunftsweisende Deep-Learning-Ansätze sowie von Ian Goodfellow neu entwickelte Konzepte wie Generative Adversarial Networks


Deep Learning ist ein Teilbereich des Machine Learnings und versetzt Computer in die Lage, aus Erfahrungen zu lernen. Dieses Buch behandelt umfassend alle Aspekte, die für den Einsatz und die Anwendung von Deep Learning eine Rolle spielen:

In Teil I erläutern die Autoren die mathematischen Grundlagen für Künstliche Intelligenz, Neuronale Netze, Machine Learning und Deep Learning.

In Teil II werden die aktuellen in der Praxis genutzten Verfahren und Algorithmen behandelt.

In Teil III geben die Autoren Einblick in aktuelle Forschungsansätze und zeigen neue zukunftsweisende Verfahren auf.

Dieses Buch richtet sich an Studenten und alle, die sich in der Forschung mit Deep Learning beschäftigen sowie an Softwareentwickler und Informatiker, die Deep Learning für eigene Produkte oder Plattformen einsetzen möchten. Dabei werden Grundkenntnisse in Mathematik, Informatik und Programmierung vorausgesetzt.


Aus dem Inhalt:
Teil I: Angewandte Mathematik und Grundlagen für das Machine Learning

  • Lineare Algebra
  • Wahrscheinlichkeits- und Informationstheorie
  • Bayessche Statistik
  • Numerische Berechnung

Teil II: Deep-Learning-Verfahren

  • Tiefe Feedforward-Netze
  • Regularisierung
  • Optimierung beim Trainieren tiefer Modelle
  • Convolutional Neural Networks
  • Sequenzmodellierung für Rekurrente und Rekursive Netze
  • Praxisorientierte Methodologie
  • Anwendungen: Computer Vision, Spracherkennung, Verarbeitung natürlicher Sprache

Teil III: Deep-Learning-Forschung

  • Lineare Faktorenmodelle
  • Autoencoder
  • Representation Learning
  • Probabilistische graphische Modelle
  • Monte-Carlo-Verfahren
  • Die Partitionsfunktion
  • Approximative Inferenz
  • Tiefe generative Modelle wie Restricted Boltzmann Machines, Deep-Belief-Netze, Gerichtete Generative Netze, Variational Autoencoder u.v.m.

Stimmen zum Buch:

»Deep Learning ist – verfasst von drei Experten dieses Fachgebiets – das einzige umfassende Buch zu diesem Thema.«
– Elon Musk, Co-Chair von OpenAI; Mitgründer und CEO von Tesla und SpaceX


Über die Autoren:
Ian Goodfellow ist Informatiker und Research Scientist bei Google Brain und arbeitet dort an der Entwicklung von Deep Learning. Er ist der Erfinder der Generative Adversarial Networks, die Yann LeCun, Facebooks Leiter für Künstliche-Intelligenz-Forschung, als „die coolste Erfindung im Deep Learning der letzten 20 Jahre“ beschrieben hat. Die FAZ nannte Goodfellow den "Shooting Star der Künstlichen Intelligenz", die Wired einen der wichtigsten Forscher auf diesem Gebiet.
Yoshua Bengio ist Professor of Computer Science an der Université de Montréal.
Aaron Courville ist Assistant Professor of Computer Science an der Université de Montréal.

Table of contents

  1. Einführung
    1. Inhaltsverzeichnis
    2. Website zum Buch
    3. Danksagung
    4. Über die Fachkorrektoren zur deutschen Ausgabe
    5. Notation
    6. 1 Einleitung
      1. 1.1 Für wen ist dieses Buch gedacht?
      2. 1.2 Historische Entwicklungen im Deep Learning
  2. Teil I Angewandte Mathematik und Grundlagen für das Machine Learning
    1. 2 Lineare Algebra
      1. 2.1 Skalare, Vektoren, Matrizen und Tensoren
      2. 2.2 Multiplizieren von Matrizen und Vektoren
      3. 2.3 Einheits- und Umkehrmatrizen
      4. 2.4 Lineare Abhängigkeit und lineare Hülle
      5. 2.5 Normen
      6. 2.6 Spezielle Matrizen und Vektoren
      7. 2.7 Eigenwertzerlegung
      8. 2.8 Singulärwertzerlegung
      9. 2.9 Die Moore-Penrose-Pseudoinverse
      10. 2.10 Der Spuroperator
      11. 2.11 Die Determinante
      12. 2.12 Beispiel: Hauptkomponentenanalyse
    2. 3 Wahrscheinlichkeits- und Informationstheorie
      1. 3.1 Warum Wahrscheinlichkeit?
      2. 3.2 Zufallsvariablen
      3. 3.3 Wahrscheinlichkeitsverteilungen
      4. 3.4 Randwahrscheinlichkeit
      5. 3.5 Bedingte Wahrscheinlichkeit
      6. 3.6 Die Produktregel der bedingten Wahrscheinlichkeiten
      7. 3.7 Unabhängigkeit und bedingte Unabhängigkeit
      8. 3.8 Erwartungswert, Varianz und Kovarianz
      9. 3.9 Häufig genutzte Wahrscheinlichkeitsverteilungen
      10. 3.10 Nützliche Eigenschaften häufig verwendeter Funktionen
      11. 3.11 Satz von Bayes
      12. 3.12 Technische Einzelheiten stetiger Variablen
      13. 3.13 Informationstheorie
      14. 3.14 Strukturierte probabilistische Modelle
    3. 4 Numerische Berechnung
      1. 4.1 Überlauf und Unterlauf
      2. 4.2 Schlechte Konditionierung
      3. 4.3 Optimierung auf Gradientenbasis
      4. 4.4 Optimierung unter Nebenbedingungen
      5. 4.5 Beispiel: Lineare kleinste Quadrate
    4. 5 Grundlagen für das Machine Learning
      1. 5.1 Lernalgorithmen
      2. 5.2 Kapazität, Überanpassung und Unteranpassung
      3. 5.3 Hyperparameter und Validierungsdaten
      4. 5.4 Schätzer, Verzerrung und Varianz
      5. 5.5 Maximum-Likelihood-Schätzung
      6. 5.6 Bayessche Statistik
      7. 5.7 Algorithmen für überwachtes Lernen
      8. 5.8 Algorithmen für unüberwachtes Lernen
      9. 5.9 Stochastisches Gradientenabstiegsverfahren
      10. 5.10 Entwickeln eines Machine-Learning-Algorithmus
      11. 5.11 Probleme, an denen Deep Learning wächst
  3. Teil II Tiefe Netze: Zeitgemäße Verfahren
    1. 6 Tiefe Feedforward-Netze
      1. 6.1 Beispiel: Erlernen von XOR
      2. 6.2 Lernen auf Gradientenbasis
      3. 6.3 Verdeckte Einheiten
      4. 6.4 Architekturdesign
      5. 6.5 Backpropagation und andere Algorithmen zur Differentiation
      6. 6.6 Historische Anmerkungen
    2. 7 Regularisierung
      1. 7.1 Parameter-Norm-Strafterme
      2. 7.2 Norm-Strafterme als Optimierung unter Nebenbedingungen
      3. 7.3 Regularisierung und unterbestimmte Probleme
      4. 7.4 Erweitern des Datensatzes
      5. 7.5 Robustheit gegen Rauschen
      6. 7.6 Halb-überwachtes Lernen
      7. 7.7 Multitask Learning
      8. 7.8 Früher Abbruch
      9. 7.9 Parameter Tying und Parameter Sharing
      10. 7.10 Dünnbesetzte Repräsentationen
      11. 7.11 Bagging und andere Ensemblemethoden
      12. 7.12 Dropout
      13. 7.13 Adversarial Training
      14. 7.14 Tangentendistanz, Tangenten-Propagation und Mannigfaltigkeit-Tangentenklassifikator
    3. 8 Optimierung beim Trainieren von tiefen Modellen
      1. 8.1 Unterschied zwischen Lernen und reiner Optimierung
      2. 8.2 Herausforderungen bei der Optimierung neuronaler Netze
      3. 8.3 Grundlegende Algorithmen
      4. 8.4 Verfahren zur Parameterinitialisierung
      5. 8.5 Algorithmen mit adaptiven Lernraten
      6. 8.6 Approximative Verfahren zweiter Ordnung
      7. 8.7 Optimierungsverfahren und Meta-Algorithmen
    4. 9 CNNs
      1. 9.1 Die Faltungsoperation
      2. 9.2 Motivation
      3. 9.3 Pooling
      4. 9.4 Faltung und Pooling als unendlich starke A-priori-Wahrscheinlichkeit
      5. 9.5 Varianten der grundlegenden Faltungsfunktion
      6. 9.6 Strukturierte Ausgaben
      7. 9.7 Datentypen
      8. 9.8 Effiziente Faltungsalgorithmen
      9. 9.9 Zufällige oder unüberwachte Merkmale
      10. 9.10 Die neurowissenschaftliche Basis für CNNs
      11. 9.11 CNNs und die Geschichte des Deep Learnings
    5. 10 Sequenzmodellierung: RNNs und rekursive Netze
      1. 10.1 Auffalten von Berechnungsgraphen
      2. 10.2 RNNs
      3. 10.3 Bidirektionale RNNs
      4. 10.4 Sequenz-zu-Sequenz-Architekturen
      5. 10.5 Tiefe RNNs
      6. 10.6 Rekursive neuronale Netze
      7. 10.7 Die Herausforderung langfristiger Abhängigkeiten
      8. 10.8 Echo-State-Netze
      9. 10.9 Leaky-Einheiten und andere Verfahren für mehrere Zeitskalen
      10. 10.10 Das Long Short-Term Memory und andere Gated RNNs
      11. 10.11 Optimierung für langfristige Abhängigkeiten
      12. 10.12 Explizites Gedächtnis
    6. 11 Praxisorientierte Methodologie
      1. 11.1 Performance-Kriterien
      2. 11.2 Default-Baseline-Modell
      3. 11.3 Prüfen, ob mehr Daten gesammelt werden sollen
      4. 11.4 Auswählen von Hyperparametern
      5. 11.5 Debugging-Verfahren
      6. 11.6 Beispiel: Erkennen mehrstelliger Zahlen
    7. 12 Anwendungen
      1. 12.1 Deep Learning im großen Maßstab
      2. 12.2 Computer Vision
      3. 12.3 Spracherkennung
      4. 12.4 Verarbeitung natürlicher Sprache
      5. 12.5 Weitere Anwendungen
  4. Teil III Deep-Learning-Forschung
    1. 13 Lineare Faktorenmodelle
      1. 13.1 Probabilistische PCA und Faktorenanalyse
      2. 13.2 Unabhängigkeitsanalyse
      3. 13.3 Slow Feature Analysis
      4. 13.4 Sparse Coding
      5. 13.5 Interpretation der Mannigfaltigkeit der PCA
    2. 14 Autoencoder
      1. 14.1 Untervollständige Autoencoder
      2. 14.2 Regularisierte Autoencoder
      3. 14.3 Repräsentationsleistung, Schichtgröße und Tiefe
      4. 14.4 Stochastische Encoder und Decoder
      5. 14.5 Denoising Autoencoder
      6. 14.6 Erlernen von Mannigfaltigkeiten mit Autoencodern
      7. 14.7 Contractive Autoencoder
      8. 14.8 Prädiktive dünnbesetzte Zerlegung
      9. 14.9 Anwendungen für Autoencoder
    3. 15 Representation Learning
      1. 15.1 Schichtweises unüberwachtes Pretraining mit Greedy-Algorithmen
      2. 15.2 Transfer Learning und Domänenadaption
      3. 15.3 Halb-überwachtes Separieren kausaler Faktoren
      4. 15.4 Verteilte Repräsentation
      5. 15.5 Exponentielle Verbesserungen durch Tiefe
      6. 15.6 Hinweise zum Aufdecken der zugrunde liegenden Ursachen
    4. 16 Strukturierte probabilistische Modelle für Deep Learning
      1. 16.1 Die Herausforderung der unstrukturierten Modellierung
      2. 16.2 Verwenden von Graphen zum Beschreiben der Modellstruktur
      3. 16.3 Stichprobenentnahme aus graphischen Modellen
      4. 16.4 Vorteile der strukturierten Modellierung
      5. 16.5 Lernen anhand von Abhängigkeiten
      6. 16.6 Inferenz und approximative Inferenz
      7. 16.7 Der Deep-Learning-Ansatz für strukturierte probabilistische Modelle
    5. 17 Monte-Carlo-Verfahren
      1. 17.1 Stichprobenentnahme und Monte-Carlo-Verfahren
      2. 17.2 Importance Sampling
      3. 17.3 Markow-Ketten-Monte-Carlo-Verfahren
      4. 17.4 Gibbs-Sampling
      5. 17.5 Die Herausforderung, zwischen getrennten Modi zu mischen
    6. 18 Die Partitionsfunktion
      1. 18.1 Der Log-Likelihood-Gradient
      2. 18.2 Stochastische Maximum Likelihood und kontrastive Divergenz
      3. 18.3 Pseudo-Likelihood
      4. 18.4 Score Matching und Ratio Matching
      5. 18.5 Denoising Score Matching
      6. 18.6 Noise-Contrastive Estimation
      7. 18.7 Schätzen der Partitionsfunktion
    7. 19 Approximative Inferenz
      1. 19.1 Inferenz als Optimierung
      2. 19.2 Erwartungsmaximierung
      3. 19.3 MAP-Inferenz und Sparse Coding
      4. 19.4 Variational Inference und Variational Learning
      5. 19.5 Erlernte approximative Inferenz
    8. 20 Tiefe generative Modelle
      1. 20.1 Boltzmann-Maschinen
      2. 20.2 Restricted Boltzmann Machines
      3. 20.3 Deep-Belief-Netze
      4. 20.4 Deep Boltzmann Machines
      5. 20.5 Boltzmann-Maschinen für reellwertige Daten
      6. 20.6 Gefaltete Boltzmann-Maschinen
      7. 20.7 Boltzmann-Maschinen für strukturierte und sequenzielle Ausgaben
      8. 20.8 Weitere Boltzmann-Maschinen
      9. 20.9 Backpropagation durch Zufallsoperationen
      10. 20.10 Gerichtete generative Netze (Directed Generative Nets)
      11. 20.11 Ziehen von Stichproben aus Autoencodern
      12. 20.12 Generative stochastische Netze
      13. 20.13 Andere Generierungskonzepte
      14. 20.14 Bewerten von generativen Modellen
      15. 20.15 Schlussbemerkungen
    9. Literaturverzeichnis
    10. Abkürzungsverzeichnis

Product information

  • Title: Deep Learning -- Grundlagen, aktuelle Verfahren und Algorithmen, neue Forschungsansätze
  • Author(s): Ian Goodfellow, Yoshua Bengio, Aaron Courville
  • Release date: December 2018
  • Publisher(s): mitp Verlag
  • ISBN: 9783958457027