Einstieg in die Programmierung mit KI-Unterstützung

KAPITEL 12

Textanalyse und -erzeugung

Bis hierhin haben wir Pythons wichtigste Datenstrukturen – Listen, Dictionaries und Tupel – kennengelernt sowie einige Algorithmen, die sie verwenden. In diesem Kapitel werden wir sie einsetzen, um Textanalyse und Markow-Ketten zu erforschen:

• Die Textanalyse ist eine Möglichkeit, statistische Beziehungen zwischen Wörtern eines Dokuments zu beschreiben, etwa die Wahrscheinlichkeit, dass auf ein Wort ein anderes folgt.
• Markow-Ketten sind ein Weg, neuen Text mit Wörtern und Sätzen zu erzeugen, die dem Ausgangstext ähneln.

Diese Algorithmen haben Ähnlichkeit mit einem Large Language Model (LLM), einem der wichtigsten Bestandteile eines Chatbots.

Wir beginnen, indem wir zählen, wie oft jedes Wort in einem Buch ...