Erweiterte Analytik mit PySpark

Kapitel 6. Wikipediamit LDA und Spark NLP verstehen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Mit der wachsenden Menge an unstrukturierten Textdaten in den letzten Jahren, ist es schwierig geworden, die relevanten und gewünschten Informationen zu erhalten. Die Sprachtechnologie bietet leistungsstarke Methoden, um Textdaten zu durchforsten und die gesuchten Informationen zu finden. In diesem Kapitel werden wir PySpark und die Spark NLP-Bibliothek (Natural Language Processing) verwenden, um eine solche Technik zu nutzen - die Themenmodellierung. Konkret werden wir den latenten Dirichlet-Algorithmus (LDA) verwenden, um einen Datensatz von Wikipedia-Dokumenten zu verstehen.

Die Themenmodellierung, eine der häufigsten Aufgaben in der natürlichen Sprachverarbeitung, ist ein statistischer Ansatz zur Datenmodellierung, der dabei hilft, zugrundeliegende Themen in einer Sammlung von Dokumenten zu entdecken. Die Extraktion von Themenverteilungen aus Millionen von Dokumenten kann in vielerlei Hinsicht nützlich sein - zum Beispiel, um die Gründe für Beschwerden über ein bestimmtes Produkt oder alle Produkte zu ermitteln oder um Themen in Nachrichtenartikeln zu identifizieren. Der beliebteste Algorithmus für die Themenmodellierung ist LDA. Dabei handelt es sich um ein generatives Modell, das davon ausgeht, dass Dokumente durch eine Verteilung von Themen dargestellt werden. Die Themen wiederum werden ...