LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Große Sprachmodelle (LLMs) haben sich in erstaunlich kurzer Zeit von Forschungskuriositäten zu produktionskritischer Infrastruktur entwickelt – ganz ähnlich wie bei der Internetrevolution. Eine agentische Welt steht bevor, und in vielerlei Hinsicht ist sie bereits da: eine neue Welle der „Tokenisierung“, bei der immer mehr Anwendungen auf LLM-Infrastruktur statt auf traditionellen APIs und Diensten aufbauen.

In nur wenigen Jahren hat sich das „Ruf einfach die API auf“ von öffentlichen LLM-Anbietern wie OpenAI zu „Wir brauchen unsere eigenen Modelle“ und dann zu „Wir müssen diese Modelle effizient, sicher und in großem Maßstab betreiben“ entwickelt. Unternehmen benötigen heute weitaus mehr Kontrolle über ihre LLMs – für Daten-Governance, Fehlerbehebung, Bewertung, Compliance und Kostenmanagement. Viele Teams haben festgestellt, dass der schwierigste Teil von GenAI nicht das Trainieren eines Modells oder das Einrichten einer Chat-Benutzeroberfläche ist – sondern alles dazwischen: das Einrichten des Modellbetriebs und der Optimierung, damit die Geschäftsziele zu akzeptablen Kosten erreicht werden können.

Wir haben diese Lücke aus nächster Nähe beobachtet. Wir haben gesehen, wie brillante Prototypen unter echtem Datenverkehr zusammenbrachen oder das GPU-Budget innerhalb einer Woche sprengten. Wir haben gesehen, wie Unternehmen, die wichtige ...