LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 1. Einführung in Model Serving und Optimierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In den letzten zehn Jahren haben sich KI-Systeme von Offline-Forschungsprototypen zu Echtzeit-Funktionen entwickelt, die in alltäglichen Produkten integriert sind und direkt vom Nutzer genutzt werden. Moderne KI-Workflows umfassen den gesamten Lebenszyklus – von der Datenerfassung und dem Modelltraining bis hin zur Bereitstellung, Überwachung und kontinuierlichen Iteration – und dieser Lebenszyklus hat sich mit dem Aufkommen von Deep Learning und großen Sprachmodellen (LLMs) dramatisch beschleunigt. Während das Training immer leistungsfähigerer KI-Modelle viel Aufmerksamkeit auf sich gezogen hat, ist die zuverlässige und effiziente Bereitstellung dieser Modelle in der Produktion mittlerweile genauso wichtig geworden.

Im Kern ist Model Serving ein Prozess, der sich der Herausforderung stellt, KI-Modelle für Endnutzer, Anwendungen und Systeme zugänglich zu machen. Dabei werden APIs, Webdienste oder integrierte Workflows genutzt, um aus neuen, bisher unbekannten Daten Vorhersagen (sogenannte Inferenz) zu generieren.

Um eine einfache Analogie zu ziehen: Für Unternehmen aller Art – egal, ob sie ihren Kunden KI-Fähigkeiten bereitstellen oder ihre betriebliche Effizienz steigern wollen – ist Model Serving eine Form der Lieferkette. Ein trainiertes Modell hat kaum geschäftlichen Wert, wenn es nicht ...