Kapitel 11. Von der Rechenleistung zu den Kosten: Entwurf effizienter agentenbasierter Systeme
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Über „ “ 40 % der agentenbasierten KI-Projekte könnten in den nächsten Jahren eingestellt werden. Nicht, weil die Modelle nicht gut genug sind, sondern weil der Betrieb der KI-Systeme zu teuer wird oder sie nie einen echten geschäftlichen Nutzen bringen. Schätzungen von Unternehmen wie Gartner deuten bereits in diese Richtung.
Du hast im Laufe des Buches gelernt, dass Agenten durch iteratives Schlussfolgern, Tool-Aufrufe und mehrstufige Koordination arbeiten. Das ist zwar ihre große Stärke, aber auch ihre größte Schwäche. Jeder zusätzliche Schritt verursacht Latenz und Kosten. Was bei einer einzelnen Interaktion trivial erscheint, wird zu einem ernsthaften Problem, sobald das System in großem Maßstab läuft.
Um zu verstehen, wie sich das auswirkt, stell dir deinen schwächsten Agenten vor, der sich auf „ “-Wiederholungsversuche verlässt, um die Dinge richtig hinzubekommen. Wenn dieser Agent eine Erfolgsquote von 60 % hat, du diese aber auf nahezu 100 % steigern willst, brauchst du mehrere Wiederholungsversuche. Die folgende Berechnung geht davon aus, dass jeder Wiederholungsversuch ein unabhängiges Ereignis ist. Wie du in „Instructor: Auf der Ebene des Scheiterns denken, nicht auf der Ebene der Werkzeuge“ gesehen hast, können Frameworks wie Instructor oder ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access