Kapitel 2: Woher kommen die Wahrscheinlichkeiten?
ChatGPT wählt also das nächste Wort immer auf der Grundlage der Wahrscheinlichkeiten aus. Doch woher stammen diese Wahrscheinlichkeiten? Beginnen wir mit einem einfacheren Problem. Versuchen Sie doch einfach einmal, einen englischen Text buchstabenweise (statt wortweise) zu generieren. Wie können Sie die Wahrscheinlichkeit für die einzelnen Buchstaben ermitteln?
Ein sehr minimaler Ansatz wäre es, wenn Sie einfach eine Textprobe für einen englischen Text nehmen und berechnen, wie oft die verschiedenen Buchstaben darin vorkommen. Dieser Code zählt zum Beispiel die Buchstaben im Wikipedia-Artikel[1] zu »cats«:
Und hier wird das Ganze noch einmal für »dogs« durchgeführt:
Die Ergebnisse sind ähnlich, ...
Get Das Geheimnis hinter ChatGPT - Wie die KI arbeitet und warum sie funktioniert now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
