book

Deep Learning illustriert

by Jon Krohn, Grant Beyleveld, Aglaé Bassens

August 2020

Intermediate to advanced

472 pages

13h 13m

German

dpunkt

Read now

Unlock full access

Cover
Titel
Impressum
Widmung
Vorwort
Einführung
Danksagungen
Inhaltsübersicht
Inhaltsverzeichnis
Teil I Deep Learning vorgestellt

1 Biologisches und maschinelles Sehen
1.1 Das biologische Sehen1.2 Maschinelles Sehen1.2.1 Das Neocognitron1.2.2 LeNet-51.2.3 Der traditionelle Machine-Learning-Ansatz1.2.4 ImageNet und die ILSVRC1.2.5 AlexNet1.3 TensorFlow Playground1.4 Quick, Draw!1.5 Zusammenfassung
2 Menschen- und Maschinensprache
2.1 Deep Learning für Natural Language Processing2.1.1 Deep-Learning-Netze lernen Repräsentationen automatisch2.1.2 Natural Language Processing2.1.3 Eine kurze Geschichte des Deep Learning für NLP2.2 Repräsentationen von Sprache im Computer2.2.1 1-aus-n-Repräsentationen von Wörtern2.2.2 Wortvektoren2.2.3 Wortvektor-Arithmetik2.2.4 word2viz2.2.5 Lokalistische versus verteilte Repräsentationen2.3 Elemente der natürlichen menschlichen Sprache2.4 Google Duplex2.5 Zusammenfassung
3 Maschinenkunst
3.1 Eine feuchtfröhliche Nacht3.2 Berechnungen auf nachgemachten menschlichen Gesichtern3.3 Stiltransfer: Fotos in einen Monet verwandeln (und umgekehrt)3.4 Machen Sie Ihre eigenen Skizzen fotorealistisch3.5 Fotorealistische Bilder aus Text erzeugen3.6 Bildverarbeitung mittels Deep Learning3.7 Zusammenfassung
4 Spielende Maschinen
4.1 Deep Learning, KI und andere Monster4.1.1 Künstliche Intelligenz4.1.2 Machine Learning4.1.3 Representation Learning4.1.4 Künstliche neuronale Netze4.1.5 Deep Learning4.1.6 Maschinelles Sehen4.1.7 Natural Language Processing4.2 Drei Arten von Machine-Learning-Problemen4.2.1 Supervised Learning4.2.2 Unsupervised Learning4.2.3 Reinforcement Learning4.3 Deep Reinforcement Learning4.4 Videospiele4.5 Brettspiele4.5.1 AlphaGo4.5.2 AlphaGo Zero4.5.3 AlphaZero4.6 Manipulation von Objekten4.7 Populäre Umgebungen für das Deep-Reinforcement-Learning4.7.1 OpenAI Gym4.7.2 DeepMind Lab4.7.3 UnityML-Agents4.8 Drei Arten von KI4.8.1 Artificial Narrow Intelligence4.8.2 Artificial General Intelligence4.8.3 Artificial Super Intelligence4.8.4 Zusammenfassung
Teil II Die nötige Theorie
5 Der (Code-)Karren vor dem (Theorie-)Pferd
5.1 Voraussetzungen5.2 Installation5.3 Ein flaches Netzwerk in Keras5.3.1 Der MNIST-Datensatz handgeschriebener Ziffern5.3.2 Ein schematisches Diagramm des Netzwerks5.3.3 Die Daten laden5.3.4 Die Daten umformatieren5.3.5 Die Architektur eines neuronalen Netzes entwerfen5.3.6 Trainieren eines Deep-Learning-Modells5.4 Zusammenfassung
6 Künstliche Neuronen, die Hotdogs erkennen
6.1 Das Einmaleins der biologischen Neuroanatomie6.2 Das Perzeptron6.2.1 Der Hotdog/Nicht-Hotdog-Detektor6.2.2 Die wichtigste Gleichung in diesem Buch6.3 Moderne Neuronen und Aktivierungsfunktionen6.3.1 Das Sigmoid-Neuron6.3.2 Das Tanh-Neuron6.3.3 ReLU: Rectified Linear Units6.4 Ein Neuron auswählen6.5 ZusammenfassungSchlüsselkonzepte
7 Künstliche neuronale Netze
7.1 Die Eingabeschicht7.2 Vollständig verbundene Schichten7.3 Ein vollständig verbundenes Netzwerk zum Erkennen von Hotdogs7.3.1 Forwardpropagation durch die erste verborgene Schicht7.3.2 Forwardpropagation durch nachfolgende Schichten7.4 Die Softmax-Schicht eines Netzwerks zum Klassifizieren von Fastfood7.5 Zurück zu unserem flachen Netzwerk7.6 ZusammenfassungSchlüsselkonzepte
8 Deep Networks trainieren
8.1 Kostenfunktionen8.1.1 Quadratische Kosten8.1.2 Gesättigte Neuronen8.1.3 Kreuzentropie-Kosten8.2 Optimierung: Lernen, um die Kosten zu minimieren8.2.1 Der Gradientenabstieg8.2.2 Die Lernrate8.2.3 Batch-Größe und stochastischer Gradientenabstieg8.2.4 Dem lokalen Minimum entkommen8.3 Backpropagation8.4 Die Anzahl der verborgenen Schichten und der Neuronen anpassen8.5 Ein mittleres Netz in Keras8.6 ZusammenfassungSchlüsselkonzepte
9 Deep Networks verbessern
9.1 Die Initialisierung der Gewichte9.1.1 Xavier-Glorot-Verteilungen9.2 Instabile Gradienten9.2.1 Verschwindende Gradienten9.2.2 Explodierende Gradienten9.2.3 Batch-Normalisierung9.3 Modellgeneralisierung (Überanpassung vermeiden)9.3.1 L1- und L2-Regularisierung9.3.2 Dropout9.3.3 Datenaugmentation9.4 Intelligente Optimierer9.4.1 Momentum9.4.2 Nesterov-Momentum9.4.3 AdaGrad9.4.4 AdaDelta und RMSProp9.4.5 Adam9.5 Ein tiefes neuronales Netz in Keras9.6 Regression9.7 TensorBoard9.8 ZusammenfassungSchlüsselkonzepte
Teil III Interaktive Anwendungen des Deep Learning
10 Maschinelles Sehen
10.1 Convolutional Neural Networks10.1.1 Die zweidimensionale Struktur der visuellen Bilddarstellung10.1.2 Berechnungskomplexität10.1.3 Konvolutionsschichten10.1.4 Mehrere Filter10.1.5 Ein Beispiel für Konvolutionsschichten10.2 Hyperparameter von Konvolutionsfiltern10.2.1 Kernel-Größe10.2.2 Schrittlänge10.2.3 Padding10.3 Pooling-Schichten10.4 LeNet-5 in Keras10.5 AlexNet und VGGNet in Keras10.6 Residualnetzwerke10.6.1 Schwindende Gradienten: Das Grauen der tiefen CNN10.6.2 Residualverbindungen10.6.3 ResNet10.7 Anwendungen des maschinellen Sehens10.7.1 Objekterkennung10.7.2 Bildsegmentierung10.7.3 Transfer-Lernen10.7.4 Capsule Networks10.8 ZusammenfassungSchlüsselkonzepte
11 Natural Language Processing
11.1 Natürliche Sprachdaten vorverarbeiten11.1.1 Tokenisierung11.1.2 Alle Zeichen in Kleinbuchstaben umwandeln11.1.3 Stoppwörter und Interpunktionszeichen entfernen11.1.4 Stemming11.1.5 N-Gramme verarbeiten11.1.6 Vorverarbeitung des kompletten Textkorpus11.2 Worteinbettungen mit word2vec erzeugen11.2.1 Die prinzipielle Theorie hinter word2vec11.2.2 Wortvektoren evaluieren11.2.3 word2vec ausführen11.2.4 Wortvektoren plotten11.3 Der Bereich unter der ROC-Kurve11.3.1 Die Wahrheitsmatrix11.3.2 Die ROC-AUC-Metrik berechnen
11.4 Klassifikation natürlicher Sprache mit vertrauten Netzwerken
11.4.1 Die IMDb-Filmkritiken laden11.4.2 Die IMDb-Daten untersuchen11.4.3 Die Länge der Filmkritiken standardisieren11.4.4 Vollständig verbundenes Netzwerk11.4.5 Convolutional Networks11.5 Netzwerke für die Verarbeitung sequenzieller Daten11.5.1 Recurrent Neural Networks11.5.2 Ein RNN in Keras implementieren11.5.3 Long Short-Term Memory Units11.5.4 Bidirektionale LSTMs11.5.5 Gestapelte rekurrente Modelle11.5.6 Seq2seq und Attention11.5.7 Transfer-Lernen in NLP11.6 Nichtsequenzielle Architekturen: Die funktionale API in Keras11.7 ZusammenfassungSchlüsselkonzepte
12 Generative Adversarial Networks
12.1 Die grundlegende GAN-Theorie12.2 Der Quick, Draw!-Datensatz12.3 Das Diskriminator-Netzwerk12.4 Das Generator-Netzwerk12.5 Das Adversarial-Netzwerk12.6 Das GAN-Training12.7 ZusammenfassungSchlüsselkonzepte
13 Deep Reinforcement Learning
13.1 Die grundlegende Theorie des Reinforcement Learning13.1.1 Das Cart-Pole-Spiel13.1.2 Markow-Entscheidungsprozesse13.1.3 Die optimale Strategie13.2 Die grundlegende Theorie von Deep-Q-Learning-Netzwerken13.2.1 Value-Funktionen13.2.2 Q-Value-Funktionen13.2.3 Einen optimalen Q-Value schätzen13.3 Einen DQN-Agenten definieren13.3.1 Initialisierungsparameter13.3.2 Das neuronale-Netze-Modell des Agenten bauen13.3.3 Sich an das Spiel erinnern13.3.4 Training über Memory Replay13.3.5 Eine Aktion auswählen13.3.6 Speichern und Laden der Modellparameter13.4 Mit einer OpenAI-Gym-Umgebung interagieren13.4.1 Hyperparameter-Optimierung mit SLM Lab13.5 Agenten jenseits von DQN13.5.1 Policy-Gradienten und der REINFORCE-Algorithmus13.5.2 Der Actor-Critic-Algorithmus13.6 ZusammenfassungSchlüsselkonzepte
Teil IV KI und Sie
14 Mit Ihren eigenen Deep-Learning-Projekten beginnen
14.1 Ideen für Deep-Learning-Projekte14.1.1 Machine Vision und GANs14.1.2 Natural Language Processing14.1.3 Deep Reinforcement Learning14.1.4 Ein vorhandenes Machine-Learning-Projekt überführen14.2 Ressourcen für weitere Projekte14.2.1 Gesellschaftlich nützliche Projekte14.3 Der Modellierungsprozess einschließlich der Anpassung der Hyperparameter14.3.1 Automatisierung der Hyperparameter-Suche14.4 Deep-Learning-Bibliotheken14.4.1 Keras und TensorFlow14.4.2 PyTorch14.4.3 MXNet, CNTK, Caffe und so weiter14.5 Software 2.014.6 Die kommende Artificial General Intelligence14.7 Zusammenfassung
Anhang
A Die formale Notation neuronaler Netze
B Backpropagation
C PyTorch
C.1 PyTorch-EigenschaftenC.1.1 Das Autograd SystemC.1.2 Das Define-by-Run-FrameworkC.1.3 PyTorch im Vergleich mit TensorFlowC.2 PyTorch in der PraxisC.2.1 Die PyTorch-InstallationC.2.2 Die grundlegenden Bausteine in PyTorchC.2.3 Ein tiefes neuronales Netz in PyTorch bauen
D Bildnachweise
Abbildungsverzeichnis
Tabellenverzeichnis
Beispielverzeichnis
Fußnoten
Index

Content preview from Deep Learning illustriert

7Künstliche neuronale Netze

In Kapitel 6 haben wir die Feinheiten künstlicher Neuronen untersucht. In diesem Kapitel werden wir nun darauf aufbauen und uns anschauen, wie die einzelnen Elemente zu künstlichen neuronalen Netzen und damit auch zu Deep-Learning-Netzen verknüpft werden.

7.1Die Eingabeschicht

In unserem Jupyter-Notebook Shallow Net in Keras (dessen schematische Darstellung Sie in Abbildung 5–4 finden) schufen wir ein künstliches neuronales Netzwerk mit den folgenden Schichten:

einer Eingabeschicht, die aus 784 Neuronen besteht, nämlich einem Neuron für jedes der 784 Pixel in einem MNIST-Bild
einer verborgenen Schicht aus 64 Sigmoid-Neuronen
einer Ausgabeschicht aus 10 Softmax-Neuronen, einem für jede der 10 Ziffernklassen

Von diesen ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9781098125776

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills