Erklärbare KI für Praktiker

Kapitel 5. Erklärbarkeit für Textdaten

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Sprachmodelle spielen in modernen Deep-Learning-Anwendungen eine zentrale Rolle und der Bereich der natürlichen Sprachverarbeitung (NLP) hat sich vor allem in den letzten Jahren rasant entwickelt. NLP konzentriert sich darauf, zu verstehen, wie menschliche Sprache funktioniert, und ist das Herzstück von Anwendungen wie maschineller Übersetzung, Information Retrieval, Stimmungsanalyse, Textzusammenfassung und Fragenbeantwortung. Die Modelle, die für diese Anwendungen entwickelt werden, stützen sich auf Textdaten, um zu verstehen, wie menschliche Sprache funktioniert, und viele der heute verwendeten Deep-Learning-Architekturen wie LSTMs (Long Short Memory), Aufmerksamkeits- und Transformer-Netzwerke wurden speziell für die Nuancen und Schwierigkeiten entwickelt, die bei der Arbeit mit Text auftreten.

Der vielleicht wichtigste dieser Fortschritte ist die Transformator-Architektur, die in dem Artikel "Attention Is All You Need" vorgestellt wurde.¹ Transformatoren beruhen auf dem Aufmerksamkeitsmechanismus und sind besonders gut für die Verarbeitung von sequentiellen Textdaten geeignet. Das liegt zum einen an ihrer Recheneffizienz und zum anderen daran, dass sie besser in der Lage sind, den Kontext beizubehalten, da der Text als Ganzes und nicht sequentiell verarbeitet wird. Kurz nach dem Aufkommen der Transformatoren ...