May 2026
Intermediate
374 pages
12h 6m
German
Content preview from LLM-Betrieb und -Optimierung in der Praxis (German Edition)
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Kapitel 6. Wesentliche Techniken zur LLM-Optimierung
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
In den vorangegangenen Kapiteln haben wir die Bedeutung und die Herausforderungen der Optimierung von LLMs für den Einsatz aufgezeigt. In den nächsten beiden Kapiteln werden wir uns eingehend mit jeder der entscheidenden Techniken zur LLM-Optimierung befassen, damit du über das nötige Wissen verfügst, um zu entscheiden, wann, wie und warum du sie für deine Anforderungen einsetzt.
In diesem Kapitel konzentrieren wir uns insbesondere auf grundlegende Techniken, die dir helfen werden, die meisten Optimierungskonzepte zu verstehen und viele deiner Optimierungsziele zu erreichen. Die fortgeschritteneren Techniken und Branchentrends heben wir uns für Kapitel 7 auf.
In diesem Kapitel besprechen wir, wie du Folgendes einsetzt:
-
Anforderungsbatching und Zeitplannungsprogramm, um eine bessere Parallelität und GPU-Auslastung zu erreichen
-
Attention-Optimierung, um eine bessere Recheneffizienz, geringeren Rechenaufwand und besseres Speichermanagement zu erreichen
-
Modellkomprimierung, um kleinere Modelle, weniger Speicherbewegungen und/oder weniger Rechenaufwand zu erreichen
-
Prefix-Caching, um frühere Eingabeaufforderungen zwischenzuspeichern und wiederzuverwenden, einschließlich der Frage, wie man dies effizient durchführt und eine hohe Cache-Trefferquote erzielt
Optimierungen auf der Ebene von ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.