LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 7. Fortgeschrittene Techniken zur LLM-Optimierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Nach dem letzten Kapitel verfügst du über die wesentlichen Techniken, um viele der Herausforderungen bei der Optimierung des LLM-Servings zu bewältigen, insbesondere solche, die nicht allzu groß sind und auf eine GPU passen. Bei größeren LLMs mit beispielsweise mehr als 100 Milliarden Parametern reicht eine GPU in der Regel nicht aus, um das Modell in den GPU-Speicher zu laden und mit einer zufriedenstellenden Latenz zu generieren. In diesem Kapitel untersuchen wir fortgeschrittene Techniken zur weiteren Verbesserung der LLM-Serving-Leistung, darunter:

• Spekulatives Decoding zur Beschleunigung der Decodierungsphase bei der LLM-Generierung für eine schnellere Inter-Token-Latenz (ITL)

• Multi-GPU- und Multi-Node-Bereitstellung für große LLMs, die nicht auf eine einzelne GPU passen oder dort nicht leistungsfähig genug sind

• Prefill-Decode (PD)-Disaggregation, um die Prefill- und Decode-Phasen voneinander zu trennen und ihre Kompromisse unabhängig voneinander zu optimieren

• Fortschrittliche KV-Caching-Techniken, um eine blitzschnelle Zeit bis zum ersten Token (TTFT) und eine hohe Cache-Trefferquote zu erreichen

Spekulatives Decoding

Was wäre, wenn eine einzige Technik – das sogenannte „ “ – die Latenz – insbesondere die ITL – im Alleingang um den Faktor zwei oder drei verbessern könnte? ...