Große Sprachmodelle: Die schwierigen Teile (German Edition)

Kapitel 5. Strukturierte Datenausgabe

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Grenzen liegt Freiheit. Kreativität gedeiht innerhalb von Strukturen.

Julia B. Cameron

Während LLMs sich hervorragend für die Textgenerierung eignen, bleibt es schwierig, strukturierte Ausgaben zu erhalten, die strengen Regeln folgen, wie zum Beispiel ein binäres „Ja“ oder „Nein“ oder konsistentes JSON. Das Kernproblem liegt darin, dass LLMs ihre Ausgabe Token für Token erzeugen, wobei jedes Token aus einer Wahrscheinlichkeitsverteilung über das gesamte Vokabular des Modells entnommen wird. Selbst wenn ein Modell die JSON-Formatierungsanweisungen mit einer Zuverlässigkeit von 99 % pro Token befolgt, summiert sich diese geringe Fehlerwahrscheinlichkeit über alle Token einer Antwort hinweg.

Traditionelles Prompt-Engineering, bei dem eine JSON-formatierte Antwort angefordert wird, ist die kostengünstigste Lösung für dieses Problem, aber sie ist nicht perfekt. Die Verwendung einer Eingabeaufforderung zur Anforderung einer JSON-Ausgabe schränkt ein LLM ein, und das LLM hält sich möglicherweise nicht immer an diese Einschränkungen. Dieses Zuverlässigkeitsproblem wird problematisch, wenn LLMs in Produktionsanwendungen integriert werden. Dies hat zur Entwicklung von Constrained Generation Techniques (CGTs) geführt, die eine strukturell gültige Ausgabe garantieren können.

CGTs lösen dieses Problem, indem sie den ...