Große Sprachmodelle: Die schwierigen Teile (German Edition)

Kapitel 2. Die Evals-Lücke

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Es spielt keine Rolle, wie schön deine Theorie ist, es spielt keine Rolle, wie klug du bist. Wenn sie nicht mit dem Experiment übereinstimmt, ist sie falsch.

Richard Feynman

Das Aufkommen von LLMs und die darauf folgende rasche Verbreitung von LLMBAs markieren einen entscheidenden Wandel in der Landschaft der Softwareentwicklung, des Testens und der Verifikation. Im Gegensatz zu traditionellen Softwaresystemen, bei denen deterministische Ausgaben die Norm sind, führen LLMs und LLMBAs eine Welt nicht-deterministischer und generativer Verhaltensweisen ein, die herkömmliche Paradigmen der Softwareentwicklung bei der Bewertung in Frage stellen. 

Dieser Wandel ist nicht nur eine technische Weiterentwicklung, sondern eine grundlegende Transformation der Art und Weise, wie wir Geschäftsanwendungen konzipieren, entwickeln und bewerten. Aus diesem Grund führt das Festhalten an traditionellen Testframeworks, die die probabilistische Natur von LLMs und LLMBAs fehlschlagen, unweigerlich zu erheblichen Risiken.

Dieses Kapitel untersucht Techniken zur Überbrückung der „Bewertungslücke“ zwischen traditionellen Softwaretestansätzen und den besonderen Anforderungen von LLMs und LLMBAs und geht dabei wie folgt vor.

Zunächst besprechen wir die nichtdeterministische Natur von LLMs, wie sich diese auf LLMBAs auswirkt und wie wir sie beobachten ...