Kapitel 12. Bedrohungsmodellierung für KI-Agenten
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Wenn du KI-Agenten einsetzt, musst du ein mehrschichtiges, ressourcenorientiertes Bedrohungsmodell für Systeme entwickeln, die denken, handeln und ihren Zustand beibehalten. Die Grundlagen kennst du vielleicht bereits aus allgemeinen Informationssicherheitsstandards. Allerdings treffen nicht traditionelle Systeme Entscheidungen – sondern Agenten –, weshalb du die klassische Bedrohungsmodellierung auf nichtdeterministische, agentenbasierte Systeme ausweiten musst. Die Sicherheit von Agenten wird oft als eine Ansammlung isolierter Schwachstellen betrachtet, wie zum Beispiel Eingabeaufforderungen oder der Missbrauch von Tools. In agentenbasierten Systemen beschränken sich Risiken jedoch selten auf eine einzelne Komponente. Ein Fehler auf der Ebene des „ “-Modells kann sich über die Orchestrierung ausbreiten, die unbeabsichtigte Ausführung von Tools auslösen und im Speicher verbleiben, wodurch zukünftige Entscheidungen beeinflusst werden. Um diese Systeme zu verstehen, ist es hilfreich, „ “ zu nutzen – ein mehrschichtiges Bedrohungsmodell, das Ressourcen, Systemebenen und Ausbreitungswege von Bedrohungen abbildet. So kannst du Sicherheit nicht als Checkliste betrachten, sondern als ein Systemdesignproblem unter bestimmten Einschränkungen.
Um dieses Verständnis aufzubauen, kannst du auf etablierte Sicherheitskonzepte ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access