LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 2. Bereitstellunggroßer Sprachmodelle

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Im vorigen Kapitel haben wir das Konzept von Modellen, den Begriff „ -Modell-Serving“ und gängige Serving-Paradigmen vorgestellt. In diesem Kapitel richten wir unseren Fokus auf die spezifischen Herausforderungen und Techniken beim Einsatz von LLMs.

Eine der häufigsten Hürden für Einsteiger in die Welt des Model Serving ist die schiere Komplexität moderner Serving-Systeme. Angesichts sich rasant entwickelnder Modellarchitekturen, Trainingsalgorithmen und Tools – kombiniert mit vielschichtigen Produktionsinfrastrukturen wie Überwachung, Skalierung, Sicherheit, CI/CD-Pipelines und Service-Abhängigkeiten – kann die Erfahrung schnell überwältigend werden. Das Ergebnis ist, dass viele Ingenieure und Forscher den Fokus verlieren und sich in Systemdetails verzetteln, bevor sie die Kernprinzipien begreifen können.

Um dem entgegenzuwirken, ist unser Ansatz, bei den Grundlagen anzufangen. Wir beginnen mit dem absoluten Mindestmaß an Code, das zum Serven eines LLM erforderlich ist, und bauen darauf auf. Das hilft dabei, ein solides mentales Modell davon zu entwickeln, wie die Token-Generierung funktioniert und warum das Serven von LLMs besondere Herausforderungen mit sich bringt. Auf dieser Grundlage werden wir in den folgenden Kapiteln schrittweise zu fortgeschritteneren Themen wie Systemarchitektur, Methoden ...