book

Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python

Name: Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python
Author: Andrew W. Trask
ISBN: 9783747500170

by Andrew W. Trask

November 2019

Intermediate to advanced

360 pages

German

mitp Verlag

Read now

Unlock full access

Impressum
Vorwort
Einleitung
Über den Autor
Danksagung
Kapitel 1: Deep Learning: Weshalb man sich damit befassen sollte
1.1 Willkommen bei »Deep Learning kapieren«1.2 Weshalb du dich mit Deep Learning befassen solltest1.3 Ist es schwierig, Deep Learning zu verstehen?1.4 Warum du dieses Buch lesen solltest1.5 Was du brauchst, um loszulegen1.6 Python-Kenntnisse sind nützlich1.7 Zusammenfassung
Kapitel 2: Grundlegende Konzepte: Wie lernen Maschinen?
2.1 Was ist Deep Learning?2.2 Was ist Machine Learning?2.3 Überwachtes Machine Learning2.4 Unüberwachtes Machine Learning2.5 Parametrisches und nichtparametrisches Lernen2.6 Überwachtes parametrisches Lernen2.7 Unüberwachtes parametrisches Lernen2.8 Nichtparametrisches Lernen2.9 Zusammenfassung
Kapitel 3: Vorhersage mit neuronalen Netzen: Forward Propagation
3.1 Vorhersage3.2 Ein einfaches neuronales Netz trifft eine Vorhersage3.3 Was ist ein neuronales Netz?3.4 Wie funktioniert das neuronale Netz?3.5 Eine Vorhersage mit mehreren Eingaben treffen3.6 Mehrere Eingaben: Wie verhält sich das neuronale Netz?3.7 Mehrere Eingaben: vollständiger ausführbarer Code3.8 Eine Vorhersage mit mehreren Ausgaben treffen3.9 Vorhersagen mit mehreren Eingaben und mehreren Ausgaben treffen3.10 Mehrere Ein- und Ausgaben: Wie funktioniert das?3.11 Vorhersagen über Vorhersagen3.12 Kurzeinführung in NumPy3.13 Zusammenfassung
Kapitel 4: Lernen in neuronalen Netzen: Gradientenabstieg
4.1 Vorhersagen, Vergleichen und Erlernen4.2 Vergleichen4.3 Erlernen4.4 Vergleichen: Trifft das Netz gute Vorhersagen?4.5 Warum Fehler messen?4.6 Was ist die einfachste Form des Lernens in neuronalen Netzen?4.7 Hot und Cold Learning4.8 Hot und Cold Learning: Eigenschaften4.9 Richtung und Betrag anhand des Fehlers berechnen4.10 Eine Iteration des Gradientenabstiegs4.11 Lernen bedeutet nur, den Fehler zu verringern4.12 Mehrere Schritte des Lernens4.13 Weshalb funktioniert das? Was ist weight_delta eigentlich?4.14 Tunnelblick auf ein Konzept4.15 Eine Kiste, aus der zwei Stangen ragen4.16 Ableitungen: Zweiter Ansatz4.17 Was du wirklich wissen musst4.18 Was man eigentlich nicht wissen muss4.19 Wie man Ableitungen zum Lernen verwendet4.20 Wirkt das vertraut?4.21 Den Gradientenabstieg stören4.22 Visualisierung der übermäßigen Korrektur4.23 Divergenz4.24 Einführung von alpha4.25 Alpha im Code4.26 Auswendig lernen
Kapitel 5: Mehrere Gewichte gleichzeitig erlernen: Generalisierung des Gradientenabstiegs
5.1 Lernen durch Gradientenabstieg mit mehreren Eingaben5.2 Gradientenabstieg mit mehreren Eingaben erklärt5.3 Mehrere Lernschritte5.4 Einfrieren eines Gewichts: Was bewirkt das?5.5 Lernen mittels Gradientenabstieg mit mehreren Ausgaben5.6 Lernen mittels Gradientenabstieg mit mehreren Eingaben und mehreren Ausgaben‌5.7 Was erlernen die Gewichte?5.8 Visualisierung der Werte von Gewichten5.9 Visualisierung von Skalarprodukten (gewichtete Summen)5.10 Zusammenfassung

Kapitel 6: Das erste tiefe neuronale Netz: Einführung in Backpropagation
6.1 Das Ampelproblem6.2 Vorbereitung der Daten6.3 Matrizen6.4 Erstellen von Matrizen in Python6.5 Erstellen eines neuronalen Netzes6.6 Erlernen der gesamten Datenmenge6.7 Vollständiger, Batch- und stochastischer Gradientenabstieg6.8 Neuronale Netze erlernen eine Korrelation6.9 Druck nach oben und unten6.10 Grenzfall: Überanpassung6.11 Grenzfall: Widersprüchliche Druckkräfte6.12 Erlernen indirekter Korrelation6.13 Korrelation erzeugen6.14 Stapeln neuronaler Netze: Überblick6.15 Backpropagation: Fehlerattribuierung6.16 Backpropagation: Weshalb funktioniert das?6.17 Linear vs. nichtlinear6.18 Weshalb das neuronale Netz noch nicht funktioniert6.19 Bedingte Korrelation6.20 Eine kurze Pause6.21 Das erste tiefe neuronale Netz6.22 Backpropagation im Code6.23 Eine Iteration der Backpropagation6.24 Alles zusammenbringen6.25 Warum sind tiefe Netze von Bedeutung?
Kapitel 7: Neuronale Netze abbilden: im Kopf und auf Papier
7.1 Zeit für Vereinfachungen7.2 Korrelationszusammenfassung7.3 Die alte, zu komplizierte Visualisierung7.4 Die vereinfachte Visualisierung7.5 Weitere Vereinfachung7.6 Ein Netz bei der Vorhersage beobachten7.7 Visualisierung mit Buchstaben statt Bildern7.8 Variablen verknüpfen7.9 Alles zusammen7.10 Die Bedeutung von Visualisierungstools
Kapitel 8: Signale erlernen, Rauschen ignorieren: Einführung in Regularisierung und Batching
8.1 Ein dreischichtiges Netz mit dem MNIST-Datensatz8.2 Das war einfach8.3 Auswendiglernen vs. Generalisierung8.4 Überanpassung in neuronalen Netzen8.5 Wie Überanpassung entsteht8.6 Die einfachste Regularisierung: früher Abbruch8.7 Der Industriestandard: das Dropout-Verfahren8.8 Weshalb das Dropout-Verfahren funktioniert: Ensembles8.9 Das Dropout-Verfahren im Code8.10 Bewertung des Dropout-Verfahrens mit dem MNIST-Datensatz8.11 Batch-Gradientenabstieg8.12 Zusammenfassung
Kapitel 9: Modellierung von Wahrscheinlichkeiten und Nichtlinearitäten: Aktivierungsfunktionen
9.1 Was ist eine Aktivierungsfunktion?9.2 Standardaktivierungsfunktionen der verdeckten Schicht9.3 Standardaktivierungsfunktionen der Ausgabeschicht9.4 Das grundlegende Problem: Eingaben ähneln einander9.5 softmax-Berechnung9.6 Anleitung für die Nutzung von Aktivierungsfunktionen9.7 Multiplikation von delta mit der Steigung9.8 Ausgabe in Steigung umwandeln (Ableitung)9.9 Verbesserung des MNIST-Netzes
Kapitel 10: Einführung in Convolutional Neural Networks
10.1 Wiederverwendung von Gewichten an verschiedenen Stellen10.2 Die Faltungsschicht10.3 Eine einfache Implementierung in NumPy10.4 Zusammenfassung
Kapitel 11: Neuronale Netze, die Sprache verstehen: Knecht – Mann + Frau == ?
11.1 Was bedeutet es, Sprache zu verstehen?11.2 Verarbeitung natürlicher Sprache11.3 Überwachte Verarbeitung natürlicher Sprache11.4 Die IMDB-Filmbewertungsdatenbank11.5 Wortkorrelationen in Eingabedaten erfassen11.6 Vorhersage von Filmbewertungen11.7 Kurz vorgestellt: Embedding-Schichten11.8 Interpretation der Ausgabe11.9 Architektur neuronaler Netze11.10 Wort-Embeddings vergleichen11.11 Welche Bedeutung hat ein Neuron?11.12 Ausfüllen der Lücke11.13 Bedeutung ergibt sich aus dem Verlust11.14 Knecht – Mann + Frau ~= Magd11.15 Wortanalogien11.16 Zusammenfassung
Kapitel 12: Rekurrente Schichten für Daten variabler Größe
12.1 Die Herausforderungen von variabler Größe12.2 Spielen Vergleiche tatsächlich eine Rolle?12.3 Die erstaunliche Leistungsstärke gemittelter Wortvektoren12.4 Wie werden Informationen in diesen Embeddings gespeichert?12.5 Wie verwendet ein neuronales Netz Embeddings?12.6 Die Beschränkungen von Bag-of-words-Vektoren12.7 Verwendung von Einheitsmatrizen zum Summieren von Wort-Embeddings12.8 Matrizen, die überhaupt nichts verändern12.9 Erlernen der Übergangsmatrizen12.10 Lernen, nützliche Satzvektoren zu erzeugen12.11 Forward Propagation in Python12.12 Wie funktioniert die Backpropagation?12.13 Training durchführen12.14 Einrichtung12.15 Forward Propagation beliebiger Größe12.16 Backpropagation beliebiger Größe12.17 Aktualisierung von Gewichten beliebiger Größe12.18 Ausführung und Analyse der Ausgabe12.19 Zusammenfassung
Kapitel 13: Automatische Optimierung: Entwicklung eines Deep-Learning-Frameworks
13.1 Was ist ein Deep-Learning-Framework?13.2 Einführung in Tensoren13.3 Einführung in Automatic Gradient Computation (Autograd)13.4 Eine kurze Bestandsaufnahme13.5 Mehrfach verwendete Tensoren13.6 Autograd um mehrmals verwendbare Tensoren erweitern13.7 Wie funktioniert Backpropagation durch Addition?13.8 Negation hinzufügen13.9 Weitere Funktionen hinzufügen13.10 Autograd zum Trainieren eines neuronalen Netzes verwenden13.11 Automatische Optimierung hinzufügen13.12 Schichttypen hinzufügen13.13 Schichten, die weitere Schichten enthalten13.14 Verlustfunktions-Schichten13.15 Erlernen eines Frameworks13.16 Nichtlineare Schichten13.17 Die Embedding-Schicht13.18 Indizierung zu Autograd hinzufügen13.19 Zurück zur Embedding-Schicht13.20 Die Kreuzentropie-Schicht13.21 Die rekurrente Schicht eines neuronalen Netzes13.22 Zusammenfassung
Kapitel 14: Lernen, wie Shakespeare zu schreiben: Long Short-Term Memory
14.1 Zeichenbasierte Sprachmodellierung14.2 Die Notwendigkeit einer verkürzten Backpropagation14.3 Truncated Backpropagation14.4 Eine Stichprobe von der Ausgabe14.5 Verschwindende und explodierende Gradienten14.6 Ein Testbeispiel für Backpropagation in RNNs14.7 LSTM-Zellen14.8 Veranschaulichung von LSTM-Gates14.9 Die LSTM-Schicht14.10 Erweiterung des zeichenbasierten Sprachmodells14.11 Training des zeichenbasierten LSTM-Sprachmodells14.12 Optimierung des zeichenbasierten LSTM-Sprachmodells14.13 Zusammenfassung
Kapitel 15: Deep Learning mit unbekannten Daten: Federated Learning
15.1 Das Problem der Privatsphäre beim Deep Learning15.2 Federated Learning15.3 Spam-Erkennung erlernen15.4 Federation15.5 Federated Learning hacken15.6 Sichere Aggregation15.7 Homomorphe Verschlüsselung15.8 Homomorph verschlüsseltes Federated Learning15.9 Zusammenfassung
Kapitel 16: Wie geht es weiter? Ein kurzer Leitfaden
16.1 Glückwunsch!16.2 Schritt 1: Lerne PyTorch16.3 Schritt 2: Nimm an einem weiteren Deep-Learning-Kurs teil16.4 Schritt 3: Lies ein mathematisch anspruchsvolles Lehrbuch16.5 Schritt 4: Schreibe ein Blog und unterrichte Deep Learning16.6 Schritt 5: Twitter16.7 Schritt 6: Verweise auf wissenschaftliche Arbeiten16.8 Schritt 7: Verschaffe dir Zugriff auf eine GPU (oder mehrere)16.9 Schritt 8: Lass dich für praktische Erfahrungen bezahlen16.10 Schritt 9: Beteilige dich an einem Open-Source-Projekt16.11 Schritt 10: Fördere deine Community vor Ort

Content preview from Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python

Kapitel 5: Mehrere Gewichte gleichzeitig erlernen: Generalisierung des Gradientenabstiegs

Man lernt nicht zu laufen, indem man Regeln befolgt. Man lernt es, indem man losläuft und hinfällt.

– Richard Branson, http://mng.bz/oVgd

[Bild] In diesem Kapitel:

Lernen durch Gradientenabstieg mit mehreren Eingaben
Ein Gewicht einfrieren: Was bewirkt das?
Lernen durch Gradientenabstieg mit mehreren Ausgaben
Lernen durch Gradientenabstieg mit mehreren Eingaben und mehreren Ausgaben
Visualisierung der Werte von Gewichten
Visualisierung von Skalarprodukten

5.1 Lernen durch Gradientenabstieg mit mehreren Eingaben

Im letzten Kapitel hast du gelernt, wie man den ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Deep Learning mit Python und Keras - Das Praxis-Handbuch vom Entwickler der Keras-Bibliothek

Publisher Resources

ISBN: 9783747500170

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python

by Andrew W. Trask

Kapitel 5: Mehrere Gewichte gleichzeitig erlernen: Generalisierung des Gradientenabstiegs

5.1 Lernen durch Gradientenabstieg mit mehreren Eingaben

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.