LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 3. Entwurf vonModell -Serving-Systemen: Ein tiefer Einblick

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 1 haben wir in „ “ die wichtigsten Paradigmen für Model Serving vorgestellt und gängige Architekturmuster sowie Kompromisse skizziert. In Kapitel 2 haben wir untersucht, wie LLMs auf Modellebene Inferenz durchführen und Text generieren. Dieses Kapitel schlägt eine Brücke zwischen diesen Grundlagen und der Produktionsentwicklung: Wie man Code und Infrastruktur organisiert, um komplette Serving-Systeme sowohl für Einzelmodell- als auch für Multimodellszenarien aufzubauen.

Model Serving ist ein sich schnell entwickelnder Bereich, in dem Hunderte von Open-Source-Serving-Frameworks und kommerziellen Lösungen verfügbar sind. Die Bewertung, Einführung und Anpassung der richtigen Lösung kann schnell überwältigend werden. Anstatt mit einem bestimmten Framework zu beginnen, konzentrieren wir uns in diesem Kapitel darauf, ein intuitives Verständnis anhand der Grundprinzipien aufzubauen. Wenn du verstehst, wie Serving-Systeme auf einer grundlegenden Ebene strukturiert sind, bist du besser gerüstet, um jedes Framework oder jeden Managed Service zu beurteilen.

Zu diesem Zweck entwickeln wir zwei vereinfachte, aber repräsentative Serving-Systeme: eines für das Single-Model-LLM-Serving und eines für das Multi-Model-Serving. Diese Implementierungen sind bewusst vereinfacht – sie sollen ...