LLM-Betrieb und -Optimierung in der Praxis (German Edition)

Kapitel 4. Bewährte Methoden fürden Modellbetrieb

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In den Kapiteln 2 und 3 haben wir uns mit der Modellinferenz befasst, von der Implementierung bis zum Systemdesign. Du hast gesehen, wie LLMs intern funktionieren und wie man einen Serving-Dienst von Grund auf aufbaut. In diesem Kapitel verlagert sich der Fokus von der Frage, wie man ein Serving-System aufbaut, hin zu der Frage, wie sich Serving-Systeme in realen LLM-Anwendungen weiterentwickeln müssen.

Moderne LLM-Anwendungen bestehen selten aus einem einzelnen Request-Response-Modellaufruf. Stattdessen sind Modelle in agentische Workflows, Unternehmensplattformen und mehrschichtige Produktionssysteme eingebettet. In diesem Fall ist das Bereitstellen von Modellen nicht mehr nur ein Inferenzproblem – es wird zu einem Problem der Systemarchitektur. In diesem Kapitel untersuchen wir, was sich auf dieser Systemebene ändert.

Wir beginnen mit der „ “ agentischen Anwendungen – nicht, weil dies ein „Agenten-Kapitel“ ist, sondern weil Agenten mittlerweile das primäre Muster für den Aufbau von LLM-gestützten Systemen darstellen. Die meisten modernen LLM-Anwendungsfälle – Wissensassistenten, Copiloten, Workflow-Automatisierung, Schlussfolgerungs-Engines – folgen einer agentenähnlichen Struktur. Eine einzige Benutzerinteraktion kann mehrere LLM-Aufrufe, Abrufschritte, Tool-Ausführungen und iterative Schlussfolgerungen ...