book

Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python

by Andrew W. Trask

November 2019

Intermediate to advanced

360 pages

German

mitp Verlag

Read now

Unlock full access

1.1 Willkommen bei »Deep Learning kapieren«1.2 Weshalb du dich mit Deep Learning befassen solltest1.3 Ist es schwierig, Deep Learning zu verstehen?1.4 Warum du dieses Buch lesen solltest1.5 Was du brauchst, um loszulegen1.6 Python-Kenntnisse sind nützlich1.7 Zusammenfassung
2.1 Was ist Deep Learning?2.2 Was ist Machine Learning?2.3 Überwachtes Machine Learning2.4 Unüberwachtes Machine Learning2.5 Parametrisches und nichtparametrisches Lernen2.6 Überwachtes parametrisches Lernen2.7 Unüberwachtes parametrisches Lernen2.8 Nichtparametrisches Lernen2.9 Zusammenfassung
3.1 Vorhersage3.2 Ein einfaches neuronales Netz trifft eine Vorhersage3.3 Was ist ein neuronales Netz?3.4 Wie funktioniert das neuronale Netz?3.5 Eine Vorhersage mit mehreren Eingaben treffen3.6 Mehrere Eingaben: Wie verhält sich das neuronale Netz?3.7 Mehrere Eingaben: vollständiger ausführbarer Code3.8 Eine Vorhersage mit mehreren Ausgaben treffen3.9 Vorhersagen mit mehreren Eingaben und mehreren Ausgaben treffen3.10 Mehrere Ein- und Ausgaben: Wie funktioniert das?3.11 Vorhersagen über Vorhersagen3.12 Kurzeinführung in NumPy3.13 Zusammenfassung
4.1 Vorhersagen, Vergleichen und Erlernen4.2 Vergleichen4.3 Erlernen4.4 Vergleichen: Trifft das Netz gute Vorhersagen?4.5 Warum Fehler messen?4.6 Was ist die einfachste Form des Lernens in neuronalen Netzen?4.7 Hot und Cold Learning4.8 Hot und Cold Learning: Eigenschaften4.9 Richtung und Betrag anhand des Fehlers berechnen4.10 Eine Iteration des Gradientenabstiegs4.11 Lernen bedeutet nur, den Fehler zu verringern4.12 Mehrere Schritte des Lernens4.13 Weshalb funktioniert das? Was ist weight_delta eigentlich?4.14 Tunnelblick auf ein Konzept4.15 Eine Kiste, aus der zwei Stangen ragen4.16 Ableitungen: Zweiter Ansatz4.17 Was du wirklich wissen musst4.18 Was man eigentlich nicht wissen muss4.19 Wie man Ableitungen zum Lernen verwendet4.20 Wirkt das vertraut?4.21 Den Gradientenabstieg stören4.22 Visualisierung der übermäßigen Korrektur4.23 Divergenz4.24 Einführung von alpha4.25 Alpha im Code4.26 Auswendig lernen
5.1 Lernen durch Gradientenabstieg mit mehreren Eingaben5.2 Gradientenabstieg mit mehreren Eingaben erklärt5.3 Mehrere Lernschritte5.4 Einfrieren eines Gewichts: Was bewirkt das?5.5 Lernen mittels Gradientenabstieg mit mehreren Ausgaben5.6 Lernen mittels Gradientenabstieg mit mehreren Eingaben und mehreren Ausgaben‌5.7 Was erlernen die Gewichte?5.8 Visualisierung der Werte von Gewichten5.9 Visualisierung von Skalarprodukten (gewichtete Summen)5.10 Zusammenfassung

6.1 Das Ampelproblem6.2 Vorbereitung der Daten6.3 Matrizen6.4 Erstellen von Matrizen in Python6.5 Erstellen eines neuronalen Netzes6.6 Erlernen der gesamten Datenmenge6.7 Vollständiger, Batch- und stochastischer Gradientenabstieg6.8 Neuronale Netze erlernen eine Korrelation6.9 Druck nach oben und unten6.10 Grenzfall: Überanpassung6.11 Grenzfall: Widersprüchliche Druckkräfte6.12 Erlernen indirekter Korrelation6.13 Korrelation erzeugen6.14 Stapeln neuronaler Netze: Überblick6.15 Backpropagation: Fehlerattribuierung6.16 Backpropagation: Weshalb funktioniert das?6.17 Linear vs. nichtlinear6.18 Weshalb das neuronale Netz noch nicht funktioniert6.19 Bedingte Korrelation6.20 Eine kurze Pause6.21 Das erste tiefe neuronale Netz6.22 Backpropagation im Code6.23 Eine Iteration der Backpropagation6.24 Alles zusammenbringen6.25 Warum sind tiefe Netze von Bedeutung?
7.1 Zeit für Vereinfachungen7.2 Korrelationszusammenfassung7.3 Die alte, zu komplizierte Visualisierung7.4 Die vereinfachte Visualisierung7.5 Weitere Vereinfachung7.6 Ein Netz bei der Vorhersage beobachten7.7 Visualisierung mit Buchstaben statt Bildern7.8 Variablen verknüpfen7.9 Alles zusammen7.10 Die Bedeutung von Visualisierungstools
8.1 Ein dreischichtiges Netz mit dem MNIST-Datensatz8.2 Das war einfach8.3 Auswendiglernen vs. Generalisierung8.4 Überanpassung in neuronalen Netzen8.5 Wie Überanpassung entsteht8.6 Die einfachste Regularisierung: früher Abbruch8.7 Der Industriestandard: das Dropout-Verfahren8.8 Weshalb das Dropout-Verfahren funktioniert: Ensembles8.9 Das Dropout-Verfahren im Code8.10 Bewertung des Dropout-Verfahrens mit dem MNIST-Datensatz8.11 Batch-Gradientenabstieg8.12 Zusammenfassung
9.1 Was ist eine Aktivierungsfunktion?9.2 Standardaktivierungsfunktionen der verdeckten Schicht9.3 Standardaktivierungsfunktionen der Ausgabeschicht9.4 Das grundlegende Problem: Eingaben ähneln einander9.5 softmax-Berechnung9.6 Anleitung für die Nutzung von Aktivierungsfunktionen9.7 Multiplikation von delta mit der Steigung9.8 Ausgabe in Steigung umwandeln (Ableitung)9.9 Verbesserung des MNIST-Netzes
10.1 Wiederverwendung von Gewichten an verschiedenen Stellen10.2 Die Faltungsschicht10.3 Eine einfache Implementierung in NumPy10.4 Zusammenfassung
11.1 Was bedeutet es, Sprache zu verstehen?11.2 Verarbeitung natürlicher Sprache11.3 Überwachte Verarbeitung natürlicher Sprache11.4 Die IMDB-Filmbewertungsdatenbank11.5 Wortkorrelationen in Eingabedaten erfassen11.6 Vorhersage von Filmbewertungen11.7 Kurz vorgestellt: Embedding-Schichten11.8 Interpretation der Ausgabe11.9 Architektur neuronaler Netze11.10 Wort-Embeddings vergleichen11.11 Welche Bedeutung hat ein Neuron?11.12 Ausfüllen der Lücke11.13 Bedeutung ergibt sich aus dem Verlust11.14 Knecht – Mann + Frau ~= Magd11.15 Wortanalogien11.16 Zusammenfassung
12.1 Die Herausforderungen von variabler Größe12.2 Spielen Vergleiche tatsächlich eine Rolle?12.3 Die erstaunliche Leistungsstärke gemittelter Wortvektoren12.4 Wie werden Informationen in diesen Embeddings gespeichert?12.5 Wie verwendet ein neuronales Netz Embeddings?12.6 Die Beschränkungen von Bag-of-words-Vektoren12.7 Verwendung von Einheitsmatrizen zum Summieren von Wort-Embeddings12.8 Matrizen, die überhaupt nichts verändern12.9 Erlernen der Übergangsmatrizen12.10 Lernen, nützliche Satzvektoren zu erzeugen12.11 Forward Propagation in Python12.12 Wie funktioniert die Backpropagation?12.13 Training durchführen12.14 Einrichtung12.15 Forward Propagation beliebiger Größe12.16 Backpropagation beliebiger Größe12.17 Aktualisierung von Gewichten beliebiger Größe12.18 Ausführung und Analyse der Ausgabe12.19 Zusammenfassung
13.1 Was ist ein Deep-Learning-Framework?13.2 Einführung in Tensoren13.3 Einführung in Automatic Gradient Computation (Autograd)13.4 Eine kurze Bestandsaufnahme13.5 Mehrfach verwendete Tensoren13.6 Autograd um mehrmals verwendbare Tensoren erweitern13.7 Wie funktioniert Backpropagation durch Addition?13.8 Negation hinzufügen13.9 Weitere Funktionen hinzufügen13.10 Autograd zum Trainieren eines neuronalen Netzes verwenden13.11 Automatische Optimierung hinzufügen13.12 Schichttypen hinzufügen13.13 Schichten, die weitere Schichten enthalten13.14 Verlustfunktions-Schichten13.15 Erlernen eines Frameworks13.16 Nichtlineare Schichten13.17 Die Embedding-Schicht13.18 Indizierung zu Autograd hinzufügen13.19 Zurück zur Embedding-Schicht13.20 Die Kreuzentropie-Schicht13.21 Die rekurrente Schicht eines neuronalen Netzes13.22 Zusammenfassung
14.1 Zeichenbasierte Sprachmodellierung14.2 Die Notwendigkeit einer verkürzten Backpropagation14.3 Truncated Backpropagation14.4 Eine Stichprobe von der Ausgabe14.5 Verschwindende und explodierende Gradienten14.6 Ein Testbeispiel für Backpropagation in RNNs14.7 LSTM-Zellen14.8 Veranschaulichung von LSTM-Gates14.9 Die LSTM-Schicht14.10 Erweiterung des zeichenbasierten Sprachmodells14.11 Training des zeichenbasierten LSTM-Sprachmodells14.12 Optimierung des zeichenbasierten LSTM-Sprachmodells14.13 Zusammenfassung
15.1 Das Problem der Privatsphäre beim Deep Learning15.2 Federated Learning15.3 Spam-Erkennung erlernen15.4 Federation15.5 Federated Learning hacken15.6 Sichere Aggregation15.7 Homomorphe Verschlüsselung15.8 Homomorph verschlüsseltes Federated Learning15.9 Zusammenfassung
16.1 Glückwunsch!16.2 Schritt 1: Lerne PyTorch16.3 Schritt 2: Nimm an einem weiteren Deep-Learning-Kurs teil16.4 Schritt 3: Lies ein mathematisch anspruchsvolles Lehrbuch16.5 Schritt 4: Schreibe ein Blog und unterrichte Deep Learning16.6 Schritt 5: Twitter16.7 Schritt 6: Verweise auf wissenschaftliche Arbeiten16.8 Schritt 7: Verschaffe dir Zugriff auf eine GPU (oder mehrere)16.9 Schritt 8: Lass dich für praktische Erfahrungen bezahlen16.10 Schritt 9: Beteilige dich an einem Open-Source-Projekt16.11 Schritt 10: Fördere deine Community vor Ort

Content preview from Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python

Kapitel 14: Lernen, wie Shakespeare zu schreiben: Long Short-Term Memory

Herr, was sind die Menschen doch für Narren!

– William Shakespeare, Ein Sommernachtstraum

[Bild] In diesem Kapitel:

Zeichenbasierte Sprachmodellierung
Truncated Backpropagation
Verschwindende und explodierende Gradienten
Ein Testbeispiel für Backpropagation in RNNs
LSTM-Zellen

14.1 Zeichenbasierte Sprachmodellierung

Wir nehmen mit dem RNN eine schwierigere Aufgabe in Angriff.

‌Am Ende der Kapitel 12 und 13 hast du normale rekurrente neuronale Netze (RNNs) trainiert, die erlernten, eine einfache Reihe vorherzusagen. Zum Training hast du jedoch eine Testdatenmenge mit Satzteilen ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Start your free trial

Deep Learning mit Python und Keras - Das Praxis-Handbuch vom Entwickler der Keras-Bibliothek

Francois Chollet

Algorithmen kapieren -- Visuell lernen und verstehen mit Illustrationen, Alltagsbeispielen und Python-Code

Aditya Y. Bhargava

Machine Learning visuell lernen - von StatQuest - Mit Bildern ganz einfach lernen und verstehen

Josh Starmer

Python 3 - Lernen und professionell anwenden

Michael Weigend

Publisher Resources

ISBN: 9783747500170