LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 9. LLM -Optimierung in der Praxis

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Optimierung ist ein bewegliches Ziel: In verschiedenen Umgebungen ändert sich die „beste“ Strategie. Die Ressourcen sind begrenzt, daher kannst du nicht jede Option mit Brute-Force durchprobieren. Um dir zu helfen, effizient für deinen eigenen Bereich zu optimieren, haben wir sorgfältig einige reale Beispiele ausgewählt, um zu zeigen, wie sich Schlüsselfaktoren – Hardwarekonfiguration, Modellauswahl, Speicher- und KV-Cache-Verhalten, verteilte Bereitstellung und Traffic-Muster – auf die Bereitstellungsleistung auswirken und wie man diese Unterschiede misst und interpretiert. Dieses Verständnis gibt dir die nötige Intuition, um mit deinen Einschränkungen umzugehen und zu einer robusten Bereitstellungsumgebung zu gelangen.

In diesem praxisorientierten Kapitel setzen wir alles um, was du in den vorherigen Kapiteln gelernt hast. Anhand des Open-Source-Modells Qwen3-14B mit vLLM als Beispiel führen wir dich durch einen praktischen Optimierungsprozess für den LLM-Serving und zeigen dir, wie du den Serving sowohl horizontal als auch vertikal skalieren kannst.

Wir beginnen mit einem prägnanten Optimierungsplan und setzen ihn Schritt für Schritt um – Einrichtung der Umgebung, Vorbereitung der Evaluierungs-Workload, Durchführung von Experimenten, Bereitstellung des Modells auf Single- und Multi-GPU-Setups, Analyse ...