Vorwort
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Als ich 2019 anfing, mit Transformern zu arbeiten, waren KI-Agenten – zumindest in der Form, wie wir sie heute verstehen – noch nicht das zentrale Thema, zu dem sie inzwischen geworden sind. Mich hat die Transformer-Architektur selbst sofort fasziniert: die Eleganz des Attention-Mechanismus, seine Vielseitigkeit und die Art und Weise, wie sich dieselben zugrunde liegenden Prinzipien auf Sprache, Bildverarbeitung, Audio, Zeitreihen und andere Modalitäten übertragen lassen.
Zwei Jahre später entwickelte ich meine eigene, auf Attention basierende Architektur rund um spezialisierte Module, die selektiv aktiviert werden, unabhängig voneinander arbeiten und nur dann kommunizieren, wenn es der Kontext erfordert. Obwohl ich das Modell für dynamische Vorhersagen entworfen hatte, kommen mir die dahinterstehenden Fragen mittlerweile auffallend bekannt vor: Welche Komponenten sollten handeln, welche Informationen sollten sie austauschen und wie sollte der Kontext das weitere Geschehen beeinflussen? Was mich nach wie vor fasziniert, ist, wie sich genau diese Ideen seitdem von einzelnen Modellarchitekturen zu vollständigen agentenbasierten Systemen entwickelt haben, in denen Modelle Schlussfolgerungen ziehen, Werkzeuge nutzen, Zustände verwalten, mit ihrer Umgebung interagieren und sich mit anderen Agenten abstimmen. Die Abstraktionsebene hat sich verändert, ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access