LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 8. LLM -Serving-Frameworks

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In den vorangegangenen Kapiteln haben wir die Grundlagen des LLM-Servings untersucht –Systemdesign, Service-Implementierung und praktische Optimierungstechniken. Dieses Kapitel widmet sich der Basisebene – den Serving-Frameworks, die die Modellinferenz mit verschiedenen Optimierungstechniken unter realen Produktionsbedingungen implementieren und ausführen. Wir werden vier weit verbreitete Open-Source-Serving-Frameworks besprechen, denen du in der Praxis wahrscheinlich begegnen wirst: vLLM, TensorRT-LLM, SGLang und llama.cpp. Jedes hat eine eigene Philosophie, einen eigenen Hardware-Fußabdruck und praxiserprobte Technologie und wird von aktiven Communities und einer wachsenden Produktionseinführung unterstützt.

Da es sich um das am weitesten verbreitete Framework handelt, werden wir uns eingehend mit vLLM befassen – seiner Architektur, dem Initialisierungs- und Modellausführungsprozess, der Planung auf Anfrage- und Token-Ebene sowie der mehrschichtigen Optimierungsstrategie. Das Verständnis der Interna von vLLM vermittelt dir ein gutes Gespür dafür, wie LLM-Frameworks in der Praxis funktionieren, und erleichtert es dir, die Kompromisse anderer Frameworks zu bewerten.

Als Nächstes behandeln wir die übrigen Frameworks mit prägnanten, entscheidungsorientierten Übersichten und kurzen Beispielen. Wir schließen das Kapitel ...