Generatives Deep Learning

KAPITEL 6

Schreiben

In diesem Kapitel erkunden wir Methoden zum Erstellen generativer Modelle auf Basis von Textdaten. Es gibt mehrere wesentliche Unterschiede zwischen Text- und Bilddaten. Viele der Methoden, die bei Bilddaten gut funktionieren, sind nicht so leicht auf Textdaten anwendbar:

• Textdaten bestehen aus diskreten Einheiten (entweder Zeichen oder Wörtern), wohingegen Bildpixel Punkte in einem kontinuierlichen Farbspektrum sind. Wir können ein grünes Pixel leicht blauer färben, aber es ist nicht offensichtlich, wie wir zum Beispiel das Wort Katze eher wie das Wort Hund darstellen sollten. Auf Bilddaten lässt sich der Backpropagation-Algorithmus problemlos anwenden. Um den Verlust zu minimieren, berechnen wir einfach den Gradienten unserer ...