KI-Agenten: Der ultimative Leitfaden (German Edition)

Kapitel 9. Maßgeschneiderte und fortgeschrittene Bewertung von Agentensystemen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 8 hast du gelernt, wie du das Verhalten von Agenten durch Stresstests, Red-Teaming und Produktionsüberwachung mit Traces beobachten und diagnostizieren kannst. Tracing-Plattformen sind für die Beobachtung des Agentenverhaltens unverzichtbar, aber das Tracing allein ist noch keine Bewertung. Ein System kann vollständig instrumentiert sein und dir dennoch keine verlässliche Möglichkeit bieten, zu beurteilen, ob ein neues Modell, eine neue Eingabeaufforderung oder eine Änderung in der Orchestrierung die Anwendung tatsächlich verbessert. Solange du Produktionsdaten nicht in strukturierte Bewertungsfälle umwandelst, bleibst du auf Ad-hoc-Überprüfungen und vereinzelte Nutzer-Feedbacks angewiesen, die meist spärlich und unvollständig sind.

Deshalb baust du in diesem Kapitel auf den Grundlagen der Tracing-Technik aus dem vorherigen Kapitel auf und lernst, wie du deinen eigenen Benchmark entwirfst. Benutzerdefinierte Benchmarks sind wertvoll, weil sie es dir ermöglichen, alternative Modelle, Fallback-Systeme, Eingabeaufforderungen oder architektonische Anpassungen unter kontrollierten Bedingungen zu testen, bevor du sie erneut bereitstellst. So entsteht ein „ “-Kreislauf der kontinuierlichen Verbesserung, bei dem Bewertungsdaten aus der realen Nutzung direkt in zukünftige ...