Das Geheimnis hinter ChatGPT - Wie die KI arbeitet und warum sie funktioniert

Kapitel 14: Merkmalsraum und semantische Bewegungsgesetze‌

Wir sprachen bereits darüber, dass jedes Stück Text in ChatGPT im Prinzip durch ein Array von Zahlen repräsentiert wird, die wir uns als Koordinaten eines Punkts in einer Art von »linguistischem ‌Merkmalsraum« vorstellen können. Wenn ChatGPT also einen Text fortsetzt, dann entspricht dies dem Verfolgen einer Art von Bewegungsbahn im linguistischen Merkmalsraum. Jetzt können wir aber fragen, was dazu führt, dass diese Bewegungsbahn einem Text entspricht, den wir als sinnvoll erachten. Gibt es möglicherweise »semantische Bewegungsgesetze«, die definieren – oder zumindest beschränken –, wie Punkte im linguistischen Merkmalsraum sich bewegen können und dennoch eine gewisse »Sinnhaftigkeit« ...