LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 10. Fortschritte beim LLM-Serving

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wenn du es bis hierher geschafft hast, herzlichen Glückwunsch, dass du den Weg vom Verständnis der Paradigmen des Model Serving bis hin zum effizienten Einsatz von LLMs für verschiedene Anwendungsfälle zurückgelegt hast.

Das letzte Kapitel beleuchtet einige neue Entwicklungen im Bereich LLM-Serving und dient als Leitfaden für dein weiteres Lernen, während sich neue Ideen und Techniken rasant weiterentwickeln. Einige dieser Ideen könnten ganze Bücher füllen, und die Fortschritte auf diesem Gebiet schreiten schnell voran. Es ist eine spannende Zeit, die Entwicklung intelligenter Inferenzsysteme mitzuerleben und dazu beizutragen. Unser Ziel ist es, dir die wichtigsten Ideen und Frameworks vorzustellen, damit du dieses Buch mit dem Gefühl beendest, die von uns behandelten Grundlagen mit den neuen Ideen verbinden zu können, die die nächste Generation von LLM-Bereitstellungssystemen prägen.

In diesem Kapitel werden wir uns mit folgenden Themen befassen:

• Semantisches Caching und Routing als übergeordnete Mechanismen für eine intelligentere, semantisch orientierte Anforderungsverteilung

• Leistungsprofilierung für eine fein abgestimmte Leistungsoptimierung

• Multimodales Serving, da textbasierte LLMs sich zu Vision-Language-Modellen (VLMs) und anderen Modalitäten ausweiten

• Kanten-Serving, das Inferenz mit geringer ...