Große Sprachmodelle: Die schwierigen Teile (German Edition)

Vorwort

Im Jahr 2024 begannen wir bei Code.org mit der Arbeit an unserem ersten GenAI-Lehrplan. Wir hatten ein ehrgeiziges Ziel: Anstatt K-12-Schülern einfach nur ChatGPT (oder eine Schnittstelle, die ChatGPT umhüllte) vorzustellen, wollten wir ein kleines Sprachmodell entwickeln, mit dem sie direkter experimentieren konnten.

Wir waren überzeugt, dass dieser Ansatz mehrere Vorteile hätte. Erstens dachten wir, dass ein kleineres Open-Source-Modell uns mehr Kontrolle über Hosting, Preise und Modellversionen geben würde. Außerdem gingen wir davon aus, dass ein kleineres Modell häufiger Halluzinationen zeigen würde. Das mag zwar wie eine seltsame Anforderung klingen, doch häufige Halluzinationen bieten einzigartige Lehrmöglichkeiten im Unterricht. Schließlich stellten wir uns eine Welt vor, in der Schüler lernen könnten, diese Modelle mithilfe ihrer eigenen Trainingsdaten zu verfeinern.

Dieser Ansatz, kleine Sprachmodelle zu verwenden, war jedoch nicht ohne Herausforderungen. Angesichts der häufigen Halluzinationen mussten wir hohe Sicherheitsstandards für die Schüler festlegen und ähnliche Schutzmaßnahmen schaffen, wie sie bei den neuesten Modellen verfügbar sind. Außerdem wollten wir unsere kleinen Modelle genau evaluieren, um Rückschritte bei den Lernzielen zu verhindern, die wir im Lehrplan festgelegt hatten. Schließlich wollten wir ein Framework schaffen, in dem wir viele der Funktionen implementieren konnten, die in komplexeren Systemen zu finden sind, wie RAG (Retrieval Augmented ...