Neuronale Netze und Deep Learning kapieren -- Der einfache Praxiseinstieg mit Beispielen in Python

Kapitel 14: Lernen, wie Shakespeare zu schreiben: Long Short-Term Memory

Herr, was sind die Menschen doch für Narren!

– William Shakespeare, Ein Sommernachtstraum

In diesem Kapitel:

• Zeichenbasierte Sprachmodellierung

• Truncated Backpropagation

• Verschwindende und explodierende Gradienten

• Ein Testbeispiel für Backpropagation in RNNs

• LSTM-Zellen

14.1  Zeichenbasierte Sprachmodellierung

Wir nehmen mit dem RNN eine schwierigere Aufgabe in Angriff.

‌Am Ende der Kapitel 12 und 13 hast du normale rekurrente neuronale Netze (RNNs) trainiert, die erlernten, eine einfache Reihe vorherzusagen. Zum Training hast du jedoch eine Testdatenmenge mit Satzteilen ...