book

LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Name: LLM-Betrieb und -Optimierung in der Praxis (German Edition)
ISBN: 0642572383626

by Chi Wang, Peiheng Hu

May 2026

Intermediate

374 pages

12h 6m

German

O'Reilly Media, Inc.

Read now

Unlock full access

Vorwort
Warum LLM-Bereitstellung und -Optimierung?Was dieses Buch leisten willFür wen ist dieses Buch gedachtWas dieses Buch nicht istWie dieses Buch aufgebaut istWie du dieses Buch nutzen kannstWas du brauchstIn diesem Buch verwendete KonventionenVerwendung von Code-BeispielenO’Reilly Online LearningSo erreichst du unsDanksagungen
1. Einführung in Model Serving und Optimierung
Aufbau eines ModellsModellarchitekturModelldatenModellausführungscodeModelllebenszyklus: Vom Training bis zum ServingWas ist Model Serving?Warum sollte man sich mit Modellbereitstellung beschäftigen?Warum sollte man das Modell-Serving optimieren (insbesondere bei LLMs)?Beispiel: Einsatz eines Model-Serving-Frameworks (vLLM) zur Verbesserung des LLM-DurchsatzesParadigmen für das Modell-ServingOn-Device-Bereitstellung (Kanten)Dienst für ein einzelnes ModellMulti-Modell-ServiceModell-Serving-PlattformenZusammenfassung
2. Bereitstellung großer Sprachmodelle
Ein Blick in das Innere eines TransformersLLM-EntwicklungDie autoregressive Natur von TransformernTransformer-Architektur nur mit DecoderErfassung des Token-Kontexts durch Berechnung der AufmerksamkeitAusführung der LLM-Generierung: Eine Schritt-für-Schritt-AnleitungFühre das Qwen-Modell ausModellvorhersage, Zeile für ZeileAktiviere den KV-Cache, um die Leistung zu steigernDie Prefill- und Decode-PhasenFühre das LLM mit einem Serving-Framework aus Bereite das LLM (Qwen) mit vLLM bereitLeistungsvergleich: vLLM versus Hugging Face TransformersGrundlagen des LLM-Streaming-ServingsGrundlagen des LLM-Batch-ServingsZusammenfassung
3. Entwurf von Modell-Serving-Systemen: Ein tiefer Einblick
Erstelle einen Online-LLM-Serving-Dienst von Grund aufEntwicklungszieleService-ArchitekturImplementierung der Bearbeitung von Anfragen für einzelne GenerierungenBatchingStreaming mit BatchingBatch-Bereitstellung mit vLLMEin allgemeiner Entwurf für den LLM-Serving mit einem einzigen ModellAnforderungen für Single-Model-ServingAllgemeines DesignErstelle einen Multi-Modell-Serving-Dienst von Grund aufDesignzieleService-ArchitekturKernimplementierungEinsatz von NVIDIA Triton als ModellserverKompromisse bei Multi-Modell-Serving-EntwürfenHerausforderungenEin kostenoptimiertes Multi-Modell-DesignEin latenzoptimiertes Multi-Modell-DesignZusammenfassung
4. Bewährte Methoden für den Modellbetrieb
Modell-Serving in einer agentenbasierten WeltDefinition von AgentenEin Beispiel für einen WissensagentenDas Design des AgentenDer interne Arbeitsablauf des AgentenAgentenautonomieRetrieval-Augmented Generation (RAG)Cache-gestützte Generierung (CAG)Wie Agenten Model Serving nutzenLLM-Bereitstellung in Unternehmenssystemen: Ein ÜberblickÖffentliche API-EbeneRessourcenmanagement-EbeneModellauswahl- und OrchestrierungsschichtVerteilte BereitstellungsschichtKern-Inferenz-EbeneModelloptimierungsschichtModell-EbeneEntwicklung mit einem Open-Source-StackImplementierung der öffentlichen APIModellauswahl implementierenImplementierung eines Modell-Serving-EndpunktsEntwicklung mit einem Cloud-AnbieterOption 1: Vollständig verwaltete Bereitstellung von BasismodellenOption 2: Basismodell-Bereitstellung mit einem KlickOption 3: Bring dein eigenes Modell mitOption 4: Bring deinen eigenen Code mitOption 5: Bring dein eigenes Serving-Image mitOption 6: Erstelle deine eigene Serving-InfrastrukturVergleich der OptionenSelbst entwickeln oder kaufen? Strategien verstehenWarum es hilft, zu wissen, wie man etwas aufbaut – auch wenn du es nicht selbst aufbaustUnsere AuswahlstrategieLeistungsmessung beim LLM-ServingLatenz-MetrikenDurchsatzkennzahlenBewährte Methoden für die LeistungsmessungZusammenfassung
5. Herausforderungen beim Einsatz von LLMs
Warum die Optimierung des LLM-Einsatzes wichtig istKundenerfahrungKosteneffizienzSkalierbarkeit, Spitzenlastbewältigung und MachbarkeitDie Rolle von Beschleunigerchips beim LLM-ServingGPU-Spezifikationen lesenVergleich der Spezifikationen beliebter GPUsEngpässe beim Laden von LLM-ModellenDer ModellladevorgangSchätzung der ModellgrößeSchätzung der KV-Cache-GrößeEngpässe bei der Ausführung von LLM-ModellenGrenzen der Rechen- und Speicherbandbreite von GPUsArithmetische Intensität bei MatrixmultiplikationenAnwendung der Analyse der Rechenintensität auf die Prefill- und Decode-Phasen von LLMAndere KI-Beschleuniger und TrendsZusammenfassung
6. Wichtige Techniken zur LLM-Optimierung
Anforderungsbatchung und Optimierungen auf Ebene des ZeitplannungsprogrammsWarum brauchen wir Batching beim Echtzeit-Serving?Dynamisches Batching bei der Online-InferenzKontinuierliches Batching für die LLM-Online-InferenzKontinuierliches Batching mit Chunked PrefillSkalierung der Attention und Kernel-OptimierungSkalierbare AufmerksamkeitsmechanismenKernel-Fusion und benutzerdefinierte AufmerksamkeitskerneModellkomprimierungQuantisierungDestillationPruningPrefix-CachingRadixAttentionAnwendungsfälleBewährte MethodenSkalierung des Präfix-CachesZusammenfassung
7. Fortgeschrittene Techniken zur LLM-Optimierung
Spekulative DekodierungDetaillierte SchritteOptimierung und VerwendungPraktische Übungen Spekulatives DecodierenInferenz mit mehreren GPUs und mehreren KnotenDatenparallelitätTensor-Parallelität und Pipeline-ParallelitätExperten-ParallelitätPrefill-Decode-DisaggregationGesamtarchitekturKV-Cache-ÜbertragungWann man es einsetztErweitertes KV-CachingBereitstellung von Long-ContextKosten- und LatenzberechnungenSelbstgehostete LLMsLMCache in der PraxisZusammenfassung
8. Frameworks für den Betrieb des LLM
Warum wir spezialisierte LLM-Serving-Frameworks brauchenvLLMArchitektur von vLLMWorkflow zur Modellinitialisierung (mit Multi-Prozess-Worker)Workflow zur Ausführung von GenerierungsanfragenZeitplannungsprogramm im DetailDie mehrschichtige Optimierungsstrategie von vLLMTensorRT-LLMSGLangLlama.cppDas richtige Framework auswählenZusammenfassung
9. LLM-Optimierung in der Praxis
Optimierungsplan für LLM-ServingOptimierung des Qwen3-14B-Servings mit vLLMSchritt 1: Untersuchung der GPU-HardwareSchritt 2: Benchmark-Traffic generierenSchritt 3: Definieren der BewertungskennzahlenSchritt 4: Einrichten des Modell-ServersSchritt 5: Benchmark des Qwen3-Modells mit vLLMSchritt 6: Benchmark des quantisierten Qwen3-Modells mit vLLMSchritt 7: Wende zusätzliche Optimierungstechniken anSchritt 8: Benchmark des Qwen3-Modells mit verteiltem ServingHäufige Optimierungs-Trade-offsZusammenfassung

10. Fortschritte beim Einsatz von LLMs
Semantisches CachingStrategien zur LeistungsprofilierungMultimodales ServingMultimodale EingabeverarbeitungAuswirkungen auf Architektur und SystemEdge-KI: Treiber und WegbereiterSpezialisierte Hardware mit geringem StromverbrauchModellkomprimierung und -optimierungHeterogene RechenleistungWärmebewusstes ZeitplannungsprogrammEdge-Cloud-Hybrid-RechenleistungMulti-LoRA-BereitstellungModell-Serving im Reinforcement LearningLLM-Bereitstellung in RLDeterminismus beim RL-ServingZusammenfassung
Inhaltsverzeichnis
Über die Autoren

Content preview from LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Über die Autoren

Chi Wang ist Director of Engineering in der Einstein AI-Gruppe von Salesforce und verfügt über mehr als 18 Jahre Erfahrung in den Bereichen künstliche Intelligenz und verteilte Systeme. Er leitet die Entwicklung groß angelegter KI-Plattformen, die Modelltraining, Inferenz und Optimierung für Hunderte interner Teams ermöglichen und die KI-Fähigkeiten unterstützen, die von Millionen von Salesforce-Kunden genutzt werden.

Bei Salesforce leitet Chi mehrere Engineering-Teams, die sich auf Modellinferenz und -optimierung sowie Data-Science-Plattformen konzentrieren. Seine Arbeit umfasst den Aufbau einer mandantenfähigen KI-Infrastruktur, die Skalierung verteilter Rechensysteme sowie die Verbesserung der Leistung und Kosteneffizienz großer Sprachmodell-Workloads in der Produktion.

Chi ist der Hauptanmelder von 12 Patenten in Bereichen wie Modellbereitstellung und -optimierung, Datenzugriffskontrolle und groß angelegtes Systemdesign. Außerdem ist er ein leidenschaftlicher technischer Autor, der sich darauf konzentriert, komplexe KI-Systeme für Ingenieure praktisch und zugänglich zu machen.

Peiheng Hu ist ein versierter Machine-Learning-Ingenieur mit über 10 Jahren Branchenerfahrung und Fachwissen im Aufbau groß angelegter KI-Systeme. Derzeit arbeitet er bei NVIDIA, wo er sich auf die hochmoderne verteilte LLM-Inferenz konzentriert und die Grenzen von Hochleistungs-Inferenz-Engines auf den neuesten NVIDIA-GPUs erweitert. Er hat einen Master of Science in Computational Science ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Große Sprachmodelle: Die schwierigen Teile (German Edition)

Publisher Resources

ISBN: 0642572383626

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

LLM-Betrieb und -Optimierung in der Praxis (German Edition)

by Chi Wang, Peiheng Hu

Über die Autoren

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.