Kapitel 14. Beobachtbarkeit und Überwachung von KI-Systemen
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Wenn du das Glück hast, dass dein KI-System klein ist und nur wenige bewegliche Teile hat, kann vielleicht eine Person es gut genug verstehen, um Probleme schnell zu erkennen, zu diagnostizieren und zu beheben. Allerdings werden alle erfolgreichen Softwaresysteme immer komplexer (Feature Creep!), und es braucht Systemunterstützung, um Betriebsprobleme zu erkennen und zu diagnostizieren. Kurz gesagt, du brauchst Beobachtbarkeit und Überwachung für dein KI-System.
Die Beobachtbarkeit basiert auf zwei Säulen: Metriken und Protokollierung. Metriken sind numerische Messungen der Leistung von Infrastrukturdiensten und ML-Pipelines. Beispiele für gängige Metriken sind Modellleistung, Datenqualität, Latenz, Durchsatz, KPIs und Kosten. Protokolle sind strukturierte und unstrukturierte Textausgaben und Traces von Infrastrukturdiensten und ML-Pipelines, die Einblicke in deren internen Zustand, Fehlertraces und detaillierte Leistung bieten. Metriken sind Bausteine für SLOs und elastische KI-Systeme, die die von ihnen verwendeten Ressourcen automatisch hoch- oder herunterskalieren. Protokolle sind grundlegend für alles, von der Fehlererkennung und Fehlerbehebung über die Fehleranalyse für LLMs bis hin zur Modell- und Funktionsüberwachung.
Dieses Kapitel behandelt die Beobachtbarkeit und Überwachung ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access