LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 5. Herausforderungen beim Einsatz von LLMs

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir in diesem Buch die Kernkonzepte des Model Serving vorgestellt, verschiedene Architekturmuster für den Einsatz von ML-Modellen aufgezeigt und die Kompromisse analysiert, die mit der Bereitstellung von Modellen in großem Maßstab einhergehen. Wir hoffen, dass du inzwischen ein solides Verständnis der Paradigmen des Model Serving hast, denn wir stehen kurz davor, einen bedeutenden Schritt in einen anderen Bereich zu machen. In diesem Kapitel richten wir unseren Fokus auf eines der am schnellsten wachsenden Felder in der Welt der KI: die Optimierung von LLMs für den Einsatz.

Seit dem Aufkommen von ChatGPT Ende 2022 haben LLMs die Art und Weise verändert, wie KI in realen Szenarien eingesetzt wird – von Chatbots und Codegenerierung bis hin zu fortschrittlichen Schlussfolgerungs- und Entscheidungssystemen. Ihre schiere Größe, ihr Rechenaufwand und ihre besonderen Anforderungen an den Einsatz bringen jedoch Herausforderungen mit sich, die weit über klassische Techniken des Modell-Servings hinausgehen können. Von neuartigen Ideen bis hin zu weit verbreiteten Frameworks hat sich der Bereich der Optimierung von LLMs für eine schnellere und effizientere Servicing-Leistung in einem beispiellosen Tempo weiterentwickelt. Das kann einschüchternd sein: Wer sich in diesem Bereich nicht auskennt, ...