KAPITEL 5

Wörter und Typen einbetten

Wenn Aufgaben mit Verarbeitung natürlicher Sprache zu realisieren sind, müssen wir uns mit verschiedenen Arten diskreter Typen befassen. Der offensichtlichste Vertreter dieser Typen ist das Wort. Wörter kommen aus einer endlichen Menge (auch Vokabular genannt). Andere Beispiele diskreter Typen sind Zeichen, Part-of-Speech-Tags (Zuordnungen von Wörtern und Satzzeichen zu Wortarten), benannte Entitäten, benannte Entitätstypen, Parse-Features, Artikel in einem Produktkatalog usw. Prinzipiell kann man sagen, wenn ein Eingabefeature aus einer endlichen (oder einer abzählbar unendlichen) Menge kommt, ist es ein diskreter Typ.

Die Darstellung diskreter Typen (zum Beispiel Wörter) als dichte Vektoren macht den Kern ...

Get Natural Language Processing mit PyTorch now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.