Natural Language Processing mit PyTorch

KAPITEL 6

Sequenzmodellierung für NLP

Eine Sequenz ist eine geordnete Auflistung von Elementen. Herkömmliche Techniken des maschinellen Lernens gehen davon aus, dass Datenpunkte unabhängig und identisch verteilt sind (IID – independent and identically distributed). In vielen Fällen aber, wie bei Sprach- und Zeitreihendaten, hängt ein Datenelement von den Elementen ab, die ihm vorausgehen oder nachfolgen. Man spricht dann von Sequenzdaten. In der menschlichen Sprache sind sequenzielle Informationen allgegenwärtig. Zum Beispiel lässt sich Sprache als Folge von Grundeinheiten, den sogenannten Phonemen, betrachten. In einer Sprache wie Englisch folgen die Wörter in einem Satz nicht willkürlich aufeinander. Sie können durch die Wörter, die vor oder ...