Kapitel 1. Einführung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Explainable AI, auch bekannt als XAI, ist ein Bereich des maschinellen Lernens (ML), der aus Techniken besteht, die darauf abzielen, das Verhalten von Modellen besser zu verstehen, indem sie Erklärungen dafür liefern, wie ein Modell eine Vorhersage getroffen hat. Das Wissen darüber, wie sich ein Modell verhält und wie es von seinem Trainingsdatensatz beeinflusst wird, gibt jedem, der maschinelles Lernen entwickelt oder anwendet, mächtige neue Fähigkeiten, um Modelle zu verbessern, Vertrauen in ihre Vorhersagen aufzubauen und zu verstehen, wenn etwas schief läuft. Erklärbare KI-Techniken sind besonders nützlich, weil sie nicht auf ein bestimmtes Modell angewiesen sind - sobald du eine erklärbare KI-Methode kennst, kannst du sie in vielen Szenarien einsetzen. Dieses Buch soll dir die Fähigkeit vermitteln, zu verstehen, wie erklärbare KI-Techniken funktionieren, damit du ein Gespür dafür entwickeln kannst, wann du einen Ansatz einem anderen vorziehst, wie du diese Techniken anwendest und wie du diese Erklärungen bewerten kannst, damit du ihre Vorteile und Grenzen verstehst und sie deinen Stakeholdern vermitteln kannst. Erklärungen können sehr wirkungsvoll sein und leicht ein neues Verständnis dafür vermitteln, warum ein Modell eine bestimmte Vorhersage trifft, wie Abbildung 1-1 zeigt. Aber sie erfordern auch Geschick und Fingerspitzengefühl, um sie richtig einzusetzen.

Abbildung 1-1. Eine Erklärung mit Blur-IG (beschrieben in Kapitel 4), die zeigt, welche Pixel ein Bildklassifizierungsmodell beeinflusst haben, um vorherzusagen, dass das Tier auf dem Cover dieses Buches ein Papagei ist.

Warum erklärbare KI

2018 haben Datenwissenschaftler ein Modell für maschinelles Lernen (ML) entwickelt, um Krankheiten auf Röntgenbildern zu erkennen. Das Ziel war, dass Radiologen mit Hilfe von KI mehr Röntgenbilder pro Tag überprüfen können. In Tests erreichte das Modell eine sehr hohe, aber nicht perfekte Genauigkeit mit einem Validierungsdatensatz. Es gab nur ein Problem: Das Modell schnitt in der realen Welt schlecht ab. Monatelang versuchten die Forscherinnen und Forscher herauszufinden, warum es zu dieser Diskrepanz kam. Das Modell war auf denselben Röntgenbildern trainiert worden, die in Abbildung 1-2 zu sehen sind, und auf den Röntgenbildern waren alle identifizierenden Informationen entfernt worden. Selbst mit neuen Daten stießen sie immer wieder auf dasselbe Problem: Die fantastische Leistung im Training wurde durch die schlechten Ergebnisse im Krankenhaus abgelöst. Warum war das so?

Abbildung 1-2. Ein Beispiel für die Röntgenbilder des Brustkorbs, die zum Trainieren des Modells zur Erkennung von Krankheiten verwendet wurden. Kannst du erkennen, was das Modell in die Irre geführt hat?1

Einige Jahre später machte sich eine andere Forschergruppe, diesmal Augenärzte in Großbritannien, auf auf den Weg, um ein Modell zu trainieren, das Krankheiten anhand von Netzhautscans des Auges eines Patienten erkennt (siehe Abbildung 1-3). Nachdem sie das Modell trainiert hatten, stießen sie auf ein ebenso überraschendes, aber ganz anderes Ergebnis. Das Modell war zwar sehr gut darin, Krankheiten zu erkennen, aber es war auch unheimlich genau darin, das Geschlecht des Patienten vorherzusagen.

Abbildung 1-3. Ein Beispiel für eine Netzhautfundusaufnahme, die das Innere des Auges zeigt und zur Vorhersage von Krankheiten wie Diabetes genutzt werden kann.

Diese Vorhersage hatte zwei faszinierende Aspekte. Erstens hatten die Ärzte das ML nicht so konzipiert, dass es das Geschlecht des Patienten vorhersagen konnte; dies war ein unbeabsichtigtes Ergebnis ihrer Modellarchitektur und ML-Experimente. Zweitens: Wenn diese Vorhersagen zutreffen, war diese Korrelation zwischen dem Inneren unserer Augen und unserem Geschlecht eine völlig neue Entdeckung in der Augenheilkunde. Hatte das ML eine brandneue Entdeckung gemacht, oder war etwas im Modell oder im Datensatz fehlerhaft, so dass Informationen über das Geschlecht eines Patienten in die Schlussfolgerungen des Modells einflossen?

In beiden Fällen, sowohl beim Röntgen der Brust als auch bei den Netzhautbildern, hat sich die undurchsichtige Natur des maschinellen Lernens gegen seine Nutzer/innen gewendet. Modernes maschinelles Lernen hat sich gerade deshalb durchgesetzt, weil Computer sich selbst beibringen konnten, wie sie viele Aufgaben erledigen können, indem sie große Mengen an Informationen verbrauchen, um eine große Anzahl von Parametern iterativ abzustimmen. Die großen Datenmengen, die beim Trainieren dieser Modelle anfallen, haben es jedoch pragmatisch unmöglich gemacht, dass ein Mensch das Verhalten eines Modells oder den Einfluss eines Datensatzes auf das Modell direkt untersuchen und verstehen kann. Zwar kann jedes maschinelle Lernmodell durch die Betrachtung einzelner Gewichte oder spezifischer Datenproben, die zum Trainieren des Modells verwendet wurden, überprüft werden, doch bringt diese Untersuchung selten nützliche Erkenntnisse.

In unserem ersten Beispiel, dem Röntgenmodell , das in Tests gut abschnitt und in der Praxis nutzlos war, haben die Datenwissenschaftler, die das Modell entwickelt haben, alles richtig gemacht. Sie entfernten Textbeschriftungen aus den Bildern, um zu verhindern, dass das Modell lernt, eine Krankheit anhand von Zusatzinformationen zu erkennen und vorherzusagen. Sie teilten ihre Trainings-, Test- und Validierungsdatensätze richtig auf und verwendeten eine vernünftige Modellarchitektur, die auf einem bestehenden Prozess aufbaute (Radiologen, die Röntgenbilder untersuchen), der bereits bewiesen hat, dass es möglich ist, Krankheiten anhand der Röntgenbilder eines Patienten zu erkennen. Doch selbst mit diesen Vorsichtsmaßnahmen und Fachkenntnissen war ihr Modell ein Fehlschlag. Die Augenärzte, die ein ML-Modell zur Klassifizierung von Augenkrankheiten entwickelt haben, waren Weltklasse-Experten auf ihrem Gebiet, die zwar etwas von Augenheilkunde verstanden, aber keine Experten für maschinelles Lernen waren. Wenn ihre Entdeckung, dass unsere Augen, die seit Hunderten von Jahren eingehend untersucht wurden, immer noch Geheimnisse über die menschliche Biologie enthielten, wie konnten sie dann eine strenge Analyse des maschinellen Lernmodells durchführen, um sicher zu sein, dass ihre Entdeckung echt war? Zum Glück bietet Explainable AI neue Möglichkeiten für ML-Praktiker/innen, Interessenvertreter/innen und Endnutzer/innen, um diese Art von Fragen zu beantworten.

Was ist erklärbare KI?

Der Kern von Explainable AI ist die Erstellung von Erklärungen oder die Schaffung von Erklärbarkeit für ein Modell. Erklärbarkeit ist das Konzept, dass die Aktionen eines Modells in Begriffen beschrieben werden können, die für denjenigen, der die Vorhersagen des ML-Modells nutzt, verständlich sind. Diese Erklärbarkeit dient einer Vielzahl von Zwecken, von der Verbesserung der Modellqualität über die Vertrauensbildung bis hin zur Bereitstellung eines Weges zur Behebung, wenn eine Vorhersage nicht den Erwartungen entspricht. Im Laufe der Entwicklung immer komplexerer Modelle haben wir festgestellt, dass ein leistungsfähiges Modell nicht ausreicht, um in der realen Welt akzeptiert zu werden. Es ist notwendig, dass eine Vorhersage auch eine vernünftige Erklärung hat und dass sich das Modell insgesamt so verhält, wie es von seinen Erstellern beabsichtigt war.

Stell dir eine KI vor, die dein Kollege bei einem Projekt ist. Unabhängig davon, wie gut dein KI-Kollege jede Aufgabe erfüllt, die du ihm gibst, wäre es unglaublich frustrierend, wenn deine gesamte Zusammenarbeit mit der KI darin bestünde, dass er nach der Übernahme einer Aufgabe verschwindet, plötzlich mit der fertigen Arbeit wieder auftaucht und dann wieder verschwindet, sobald er sie dir abgeliefert hat. Wenn ihre Arbeit hervorragend wäre, würdest du diese transaktionale Beziehung vielleicht akzeptieren, aber die Qualität der Ergebnisse deines KI-Mitarbeiters kann sehr unterschiedlich sein. Leider antwortet die KI nie auf deine Fragen oder sagt dir sogar, wie sie zu ihrem Ergebnis gekommen ist.

In dem Maße, in dem KI zu unseren Mitarbeitern und Kollegen wird und mehr Verantwortung für Entscheidungen übernimmt, die viele Aspekte unseres Lebens betreffen, ist das Feedback eindeutig, dass es unbefriedigend ist, KI als stillen Partner zu haben. Wir wollen (und werden in Zukunft ein Recht darauf haben) erwarten, dass wir einen Dialog mit unserem maschinellen Lernmodell führen können, um zu verstehen, warum es so funktioniert, wie es funktioniert. Explainable AI ist der Beginn dieses Dialogs, indem es einem ML-System einen neuen Weg eröffnet, seine Funktionsweise zu vermitteln, anstatt einfach nur die Ergebnisse einer Aufgabe zu liefern.

Wer braucht Erklärbarkeit?

Um zu verstehen, wie die Erklärbarkeit den Forschern von bei unseren beiden Beispielen geholfen hat, bei denen herkömmliche ML-Workflows fehlgeschlagen sind, muss man auch darüber sprechen, wer Erklärbarkeit nutzt und warum. Bei unserer Arbeit an Explainable AI für Google Cloud haben wir mit vielen Unternehmen, Datenwissenschaftlern, ML-Ingenieuren und Geschäftsführern zusammengearbeitet, die verstehen wollten, wie ein Modell funktioniert und warum. Dabei haben wir festgestellt, dass es drei verschiedene Gruppen von Menschen gibt, die nach Erklärungen suchen, und jede Gruppe hat unterschiedliche, aber sich überschneidende Motivationen und Bedürfnisse. Im Laufe des Buches werden wir alle diese Gruppen als Erklärungskonsumenten bezeichnen, weil sie die Empfänger einer Erklärung sind und nach dieser Erklärung handeln. Unsere Konsumenten können in drei Rollen unterteilt werden:

Praktizierende
Data Scientists und Ingenieure, die mit maschinellem Lernen vertraut sind
Beobachter
Geschäftsinteressenten und Regulierungsbehörden, die mit maschinellem Lernen vertraut sind, sich aber in erster Linie mit der Funktion und Gesamtleistung des ML-Systems befassen
Endverbraucher
Domänenexperten und betroffene Nutzer, die möglicherweise wenig bis gar keine ML-Kenntnisse haben und gleichzeitig Empfänger der ML-Systemergebnisse sind

Eine Person kann gleichzeitig mehrere Rollen als ML-Konsument einnehmen. Ein häufiges Muster ist zum Beispiel, dass Datenwissenschaftler/innen als ML-Praktiker/innen beginnen, aber im Laufe der Zeit ein Verständnis für den Bereich entwickeln, in dem sie tätig sind, und schließlich selbst zu Domänenexpert/innen werden, was es ihnen ermöglicht, bei der Bewertung einer Vorhersage und Erklärung als Endnutzer/innen zu agieren.

In unserer Fallstudie zum Röntgen der Brust haben die ML-Fachleute das Modell erstellt, verfügten aber nicht über Fachwissen in der Radiologie. Sie wussten zwar, wie das ML-System funktioniert und wie es trainiert wurde, aber sie hatten kein tiefes Verständnis für die Praxis der Radiologie. In der Fallstudie zu den Netzhautbildern stellten die Augenärzte, die das Modell erstellt hatten, fest, dass das ML-System einen neuen Zusammenhang zwischen dem Aussehen des Augeninneren und unserem Geschlecht entdeckt hatte, aber sie verfügten nicht über das Fachwissen der ML-Praktiker, um sicher zu sein, dass das Modell richtig funktioniert.

Jede Gruppe hatte sehr unterschiedliche Bedürfnisse, um zu erklären, warum sich das Modell so verhielt, wie es sich verhielt. Die ML-Praktiker suchten nach präzisen und genauen Erklärungen, die den Schritt, an dem das ML fehlschlug, aufzeigen konnten. Die Augenärzte als Endnutzer suchten nach einer eher konzeptionellen Erklärung, die ihnen helfen würde, eine Hypothese für die Ursache der Klassifizierung aufzustellen, und die es ihnen außerdem ermöglichen würde, Vertrauen in die Vorhersagen des Modells zu gewinnen.

Herausforderungen bei der Erklärbarkeit

Wie wir Explainable AI für ein Modell einsetzen, hängt von den Zielen derjenigen ab, die die Erklärungen konsumieren. Nehmen wir an, dass wir dich auf der Grundlage der Informationen, die wir über diese Personen, ihre ML und ihre Herausforderungen gegeben haben, gebeten haben, eine Explainable AI-Technik zu implementieren, die Erklärungen dafür liefert, wie das Modell zu seinen Vorhersagen kommt. Du machst dich an die Arbeit und implementierst eine Methode, die deiner Meinung nach gute Erklärungen für diese ML-Modelle liefert: . Dazu verwendest du integrierte Farbverläufe(Kapitel 4), um Pixel hervorzuheben, die für die Vorhersage von Bedeutung waren. Du lieferst aufgeregt eine Reihe von Vorhersagen mit hervorgehobenen Pixeln im Bild, aber anstatt als Retter des Tages gefeiert zu werden, bekommst du sofort Fragen wie:

  • Woher weiß ich, dass diese Erklärung richtig ist?

  • Was bedeutet es, dass ein Pixel mehr hervorgehoben wird als ein anderes?

  • Was passiert, wenn wir diese Pixel entfernen?

  • Warum wurden diese Pixel hervorgehoben und nicht das, was wir hier für wichtig halten?

  • Kannst du das für den gesamten Datensatz tun?

Bei dem Versuch, eine Frage zu beantworten, hast du versehentlich fünf weitere Fragen aufgeworfen! Jede dieser Fragen ist berechtigt und wert, gestellt zu werden, aber sie helfen deinem Publikum vielleicht nicht bei seinem ursprünglichen Ziel, das Verhalten des Modells zu verstehen. Da die Erklärbarkeit ein relativ neues Feld in der KI ist, ist es wahrscheinlich, dass du auf diese Fragen stoßen wirst, auf die es keine einfachen Antworten gibt. Im Bereich der erklärbaren KI gibt es mehrere große Herausforderungen:

  • Nachweis der semantischen Korrektheit von Erklärungstechniken über die theoretische Solidität der zugrunde liegenden Mathematik hinaus

  • Die Kombination verschiedener Erklärungstechniken auf einfache und sichere Weise, die das Verständnis fördert, anstatt noch mehr Verwirrung zu stiften

  • Werkzeuge entwickeln, die es den Verbrauchern ermöglichen, auf einfache Weise zu erforschen, zu untersuchen und umfassendere Erklärungen zu erstellen

  • Erklärungen generieren , die rechnerisch effizient sind

  • Aufbau eines soliden Rahmens für die Bestimmung der Robustheit von Erklärungstechniken

In all diesen Bereichen werden vielversprechende Forschungsarbeiten durchgeführt, aber keine davon hat sich bisher in der Erklärungsgemeinschaft so weit durchgesetzt, dass wir sie mit gutem Gewissen empfehlen können. Außerdem haben viele dieser Fragen zu Forschungsarbeiten geführt, in denen untersucht wird, wie Erklärungsmethoden grundlegend gebrochen werden können. Dies ist ein vielversprechender Forschungszweig, aber wie wir in Kapitel 7 erörtern, sollte man ihn eher als Forschung betrachten, die untersucht, wie anfällig XAI-Techniken für Angriffe sind oder wie brüchig sie sind und wie unfähig sie sind, gute Erklärungen außerhalb ihrer ursprünglichen Designparameter zu erzeugen. Viele dieser Fragen sind so interessant, dass wir bei der Verwendung von Erklärungen für hochriskante oder sicherheitskritische KI zur Vorsicht raten.

Bewertung der Erklärungsfähigkeit

Kehren wir zu unseren beiden Fallstudien zurück, um zu sehen, wie sie nach der Anwendung der Erklärbarkeit abgeschnitten haben. Bei der Röntgenaufnahme der Brust konnten die ML-Praktiker nicht herausfinden, warum das Modell im Training und in den Tests sehr gut, in der Realität aber schlecht abschnitt. Einer der Forscher nutzte eine Erklärbarkeitstechnik, Integrated Gradients, um Pixel im Röntgenbild hervorzuheben, die für die Vorhersage von Bedeutung waren. Integrated Gradients (mehr dazu in Kapitel 4) bewertet die Vorhersage, indem sie mit einem Basisbild beginnt, das z. B. ganz schwarz ist, und nach und nach neue Bilder mit Pixeln erzeugt, die näher am Originalbild liegen. Diese Zwischenbilder werden dann in das Modell eingespeist, um neue Vorhersagen zu erstellen. Die Vorhersagen werden zu einer neuen Version des Eingangsbildes zusammengefasst, in der die Pixel, die einen Einfluss auf die ursprüngliche Vorhersage des Modells hatten, in einer neuen Farbe dargestellt werden, die als Salienzkarte bezeichnet wird. Die Intensität der Einfärbung spiegelt wider, wie stark die Pixel das Modell beeinflusst haben. Auf den ersten Blick waren die Erklärungen genauso verwirrend wie das ursprüngliche Problem.

Abbildung 1-4. Die Erklärung dafür, welche rot hervorgehobenen Pixel das Modell als Hinweis auf eine Krankheit im Röntgenbild der Brust ansah. Zur besseren Lesbarkeit wird der Bereich des Bildes, der die meisten zugeordneten Pixel enthält, durch den blauen Kasten umrandet. (Printleser können das Farbbild unter https://oreil.ly/xai-fig-1-4 sehen .)

Ein Beispiel für eines dieser Bilder ist in Abbildung 1-4 zu sehen. Es mag den Anschein haben, dass keine Pixel für die Vorhersage verwendet wurden. Wenn du dir jedoch die untere linke Seite dieses Bildes ansiehst, wirst du feststellen, dass sich zwischen dem Schwarz und Weiß des Röntgenbildes der Brust einige rote Pixel befinden. Auch diese scheinen ziemlich zufällig zu sein. Erst wenn du dir diesen Bereich des Bildes genau ansiehst, kannst du die Kratzer auf dem Röntgenbild kaum erkennen. Dabei handelt es sich jedoch nicht um zufällige Kratzer, sondern um die Stiftmarkierungen eines Radiologen, der auf dem Röntgenbild eingezeichnet hatte, wo sich die Krankheit befand, wie wir in Abbildung 1-5 sehen können. Das Modell wurde daraufhin trainiert, die Stiftmarkierungen mit dem Vorhandensein einer Krankheit in Verbindung zu bringen. In der realen Welt waren auf den Röntgenbildern jedoch keine Stiftmarkierungen zu sehen, weil die Röntgenrohbilder dem Modell zugespielt wurden, bevor sie einem Radiologen gezeigt wurden, der sie hätte markieren können.

Abbildung 1-5. Beispiel für die Stiftmarkierungen in einem Röntgenbild der Brust im Trainingsdatensatz.

Nachdem die Forscher die Ursache für die Leistungsabweichung herausgefunden hatten, nämlich dass die Stiftmarkierungen dem Modell Informationen darüber verraten hatten, ob die Röntgenaufnahme eine Krankheit zeigt oder nicht, konnten sie einen neuen Datensatz erstellen, der nicht von Radiologen kommentiert worden war. Die anschließende Leistung des Modells war im Training nicht merklich schlechter als die des ursprünglichen Modells und schnitt in der realen Welt besser ab.

Wenden wir uns der Netzhautstudie zu. Wie haben die Augenärzte Explainable AI eingesetzt, um sicher zu sein, dass ihr ML-Modell das Geschlecht eines Patienten anhand der Fundusbilder der Netzhaut vorhersagen kann? Die Forscher nutzten eine Technik, die als XRAI bekannt ist (wird in Kapitel 4 besprochen; hat nichts mit Röntgenstrahlen zu tun), um Regionen des Augenbildes hervorzuheben, die die Vorhersage des Modells beeinflussten. Die Erklärungen, die in Abbildung 1-6 zu sehen sind, zeigen, dass das Modell auf den Sehnerv (den großen Fleck auf der einen Seite der Netzhaut) und die vom Sehnerv ausgehenden Blutgefäße achtet.

Abbildung 1-6. XRAI wird verwendet, um hervorzuheben, welche Pixel die Vorhersage des Modells über das Geschlecht eines Patienten auf der Grundlage eines Fotos des Augeninneren beeinflusst haben, aus einem Artikel von Korot et al.2

Als sie sahen, dass das Modell von diesen spezifischen Teilen der Anatomie des Auges beeinflusst wurde, waren die Forscher überzeugt, dass das Modell tatsächlich korrekte Vorhersagen machte. Diese Arbeit reichte auch aus, um die breitere wissenschaftliche Gemeinschaft zu überzeugen, denn die Ergebnisse wurden schließlich als Artikel in Scientific Reports veröffentlicht.

Wie wurde die Erklärbarkeit genutzt?

Die beiden Beispiele, die wir gegeben haben, konzentrierten sich auf die Erklärbarkeit von Bildmodellen in der medizinischen Forschung und im Gesundheitswesen. Du wirst oft feststellen, dass Beispiele für Erklärbarkeit ein Bildmodell beinhalten, weil es einfacher ist, die Erklärung für ein Bild zu verstehen als die relative Bedeutung verschiedener Merkmale in strukturierten Daten oder die Zuordnung von einflussreichen Token in einem Sprachmodell. In diesem Abschnitt sehen wir uns einige andere Fallstudien an, in denen Explainable AI über Bildmodelle hinaus eingesetzt wurde.

Wie LinkedIn erklärbare KI einsetzt

Seit 2018 hat LinkedIn erfolgreich Explainable AI in vielen Bereichen des Unternehmens eingesetzt, vom Recruiting über den Vertrieb bis hin zur ML-Entwicklung. Im Jahr 2022 enthüllte LinkedIn zum Beispiel, dass Explainable AI der Schlüssel zur Einführung eines ML-Systems für Ranglisten und Empfehlungen war, das vom Vertriebsteam genutzt wurde, um Prioritäten für die Kundenansprache zu setzen, und zwar auf der Grundlage der ML-Vorhersage, wie wahrscheinlich es ist, dass der Kunde seine bestehenden Produkte nicht mehr nutzt (auch bekannt als Abwanderung) oder wie groß sein Potenzial ist, neue Produkte zu kaufen (bekannt als Upselling). Obwohl das ML gut funktionierte, stellte das KI-Team bei LinkedIn schnell fest, dass das System von den Vertriebsteams nicht genutzt werden konnte, wenn es nicht eine Begründung für die Vorhersagen enthielt:

Obwohl dieser ML-basierte Ansatz sehr nützlich war, haben wir in Fokusgruppenstudien herausgefunden, dass ML-basierte Modellbewertungen allein nicht das hilfreichste Werkzeug für unsere Vertriebsmitarbeiter waren. Vielmehr wollten sie die Gründe für die Bewertungen verstehen - zum Beispiel, warum die Modellbewertung für Kunde A höher, für Kunde Baber niedriger ausfiel - undsie wollten auch in der Lage sein, die Argumentation mit ihrem Fachwissen zu überprüfen.3

Ähnlich wie in unserem Beispiel mit den Röntgenaufnahmen der Brust hat auch LinkedIn Explainable AI eingesetzt, um die Qualität seiner ML-Modelle zu verbessern. In diesem Fall hat das ML-Team die Verwendung von Explainable AI für viele Modelle produktiv gemacht, indem es ein Tool entwickelt hat, mit dem die Datenwissenschaftler und Ingenieure von LinkedIn Merkmale stören können (siehe Kapitel 3), um alternative Szenarien für Vorhersagen zu generieren und so zu verstehen, wie sich ein Modell bei leicht veränderten Eingaben verhalten könnte.4

LinkedIn ist noch einen Schritt weiter gegangen und hat eine App entwickelt, CrystalCandle,5 die rohe Erklärungen für strukturierte Daten, bei denen es sich oft nur um Zahlen handelt, in narrative Erklärungen umwandelt (auf narrative Erklärungen gehen wir in Kapitel 7 näher ein). Ein Beispiel für die narrativen Erklärungen, die sie erstellt haben, ist (siehe Tabelle 1-1).

Tabelle 1-1. LinkedIns CrystalCandle-Vergleich von rohen Erklärungen mit den entsprechenden narrativen Erklärungen
Modellvorhersage und Interpretation (nicht intuitiv) Narrative Einblicke (benutzerfreundlich)

Propensity Score: 0,85 (Top 2%)
Wichtigste Merkmale (mit Wichtigkeitswert):

  • paid_job_s4: 0.030

  • job_view_s4: 0.013

  • hire_cntr_s3: 0.011

  • conn_cmp_s4: 0.009

Bei diesem Kunden ist die Wahrscheinlichkeit eines Upsell extrem hoch. Seine Upsell-Wahrscheinlichkeit ist größer als die von 98% aller Kunden, was auf Folgendes zurückzuführen ist:

  • Die Zahl der bezahlten Aufträge stieg im letzten Monat von 10 auf 15 (+50%).

  • Die Aufrufe pro Auftrag stiegen im letzten Monat von 200 auf 300 (+50%).

PwC setzt Explainable AI für Kfz-Versicherungsansprüche ein

In Zusammenarbeit mit einem großen Autoversicherer hat PricewaterhouseCoopers (PwC) ein ML-System entwickelt, um die Höhe eines Versicherungsanspruchs zu schätzen. Bei der Entwicklung von hebt PwC deutlich hervor, dass erklärbare KI keine optionale Ergänzung des Kernprojekts war, sondern eine notwendige Voraussetzung dafür, dass die ML-Lösung von der Versicherungsgesellschaft, ihren Schadenregulierern und Kunden angenommen wird. PwC nennt vier verschiedene Vorteile, die sich aus der Nutzung von Erklärbarkeit in ihrer ML-Lösung ergeben:

Das erklärbare KI-Modell des Unternehmens war ein Wendepunkt, denn es ermöglichte Folgendes:

  • die Kfz-Schadenschätzer in die Lage versetzt, zu erkennen, worauf sie sich bei einer Bewertung konzentrieren müssen

  • Ansätze für den Wissensaustausch zwischen dem Schätzer-Team, um genau zu bestimmen, welche Gruppe bestimmte Schätzungen bearbeiten sollte

  • ermittelte, dass bei vollständiger Umsetzung der Proof-of-Concept-Modelle im gesamten Schätzer-Team Effizienzeinsparungen von 29 % möglich sind

  • weniger Nacharbeit und verbesserte Kundenerfahrung durch kürzere Durchlaufzeiten6

In unserer Arbeit mit Kunden bei Google Cloud haben wir ähnliche Vorteile für viele Kunden festgestellt, die Erklärbarkeit in ihre KI eingebaut haben.

Accenture Labs erklärt Darlehensentscheidungen

Die Aufnahme eines Kredits bei einer Bank kann eine verwirrende Erfahrung sein. Um einen Kredit zu beantragen, muss der Antragsteller viele Formulare ausfüllen und Nachweise über seine finanzielle Situation und seine Vorgeschichte vorlegen, wobei oft nur die allgemeinen Bedingungen des Kredits und die Höhe des Betrags abgefragt werden. Daraufhin wird der Kredit entweder bewilligt, oft mit einem von der Bank festgelegten Zinssatz, oder er wird ohne weitere Informationen abgelehnt. Accenture Labs hat gezeigt, wie selbst ein gewöhnlicher Kredit, der Home Equity Line of Credit (HELOC), von positiven kontrafaktischen Erklärungen (siehe Kapitel 2) als Teil der Vorhersage eines ML, ob ein Kreditantrag genehmigt oder abgelehnt wird, profitieren könnte. Diese kontrafaktischen Erklärungen konzentrierten sich darauf, ein "Was-wäre-wenn"-Szenario zu erstellen, in dem dargestellt wird, welche Aspekte der Kreditgeschichte und der finanziellen Situation des Antragstellers dazu geführt hätten, dass der Kredit genehmigt oder abgelehnt worden wäre. In dieser Fallstudie konzentrierte sich Accenture darauf zu verstehen, wie Erklärbarkeit in verschiedenen ML-Systemen eingesetzt werden kann,7 Dabei zeigte sich, dass der Einsatz von Explainable AI es ermöglichte, auch dann Erklärungen zu erstellen, wenn das zugrunde liegende Modell auf andere Modellarchitekturen umgestellt wurde.

DARPA nutzt erklärbare KI, um "Third-Wave AI" zu entwickeln

Die Defense Advanced Research Projects Agency (DARPA), ein Arm des US-Verteidigungsministeriums, führte ein fünfjähriges Programm8 mit vielen Projekten durch, um den Einsatz von erklärbarer KI zu untersuchen. Die Ziele der DARPA bei der Nutzung von Explainable AI sind, "besser erklärbare Modelle zu entwickeln und dabei ein hohes Maß an Lernleistung beizubehalten" und "menschliche Nutzer in die Lage zu versetzen, die aufkommende Generation künstlich intelligenter Partner zu verstehen, ihnen angemessen zu vertrauen und sie effektiv zu steuern." Die DARPA sieht in der Erklärbarkeit eine Schlüsselkomponente der nächsten Generation von KI-Systemen, in denen "Maschinen den Kontext und die Umgebung, in der sie agieren, verstehen und im Laufe der Zeit zugrundeliegende Erklärungsmodelle aufbauen, die es ihnen ermöglichen, reale Phänomene zu charakterisieren." In den letzten Jahren fanden im Rahmen des Programms mehrere jährliche Workshops statt, die zeigten, dass es möglich ist, Erklärbarkeit in viele verschiedene Arten von ML einzubauen, von der Datenanalyse über autonome Systeme bis hin zu Hilfsmitteln für die Entscheidungsfindung.

Zusammenfassung

In diesem Kapitel haben wir das Konzept der erklärbaren KI vorgestellt. Dabei handelt es sich um eine Reihe von Techniken, die auf ML-Modelle angewendet werden können, nachdem sie erstellt wurden, um ihr Verhalten für eine oder mehrere Vorhersagen des Modells zu erklären. Wir haben auch untersucht, warum erklärbare KI von verschiedenen Gruppen benötigt wird, die mit ML-Modellen arbeiten, z. B. ML-Praktiker, Beobachter und Endnutzer. Jeder dieser Nutzertypen hat einen anderen Bedarf an Erklärbarkeit, der von der Verbesserung der Qualität eines Modells bis hin zur Stärkung des Vertrauens in die Wirksamkeit des Modells reicht. Um dies zu verdeutlichen, haben wir uns mehrere Fallstudien angeschaut, die zeigen, wie Erklärbarkeit eingesetzt wurde. Zunächst haben wir zwei reale Beispiele aus der Medizin gegenübergestellt: Eine Gruppe von ML-Praktikern versuchte, ein schlecht funktionierendes Modell zur Klassifizierung von Krankheiten anhand von Röntgenaufnahmen der Brust zu debuggen, während eine andere Gruppe, Augenärzte, verstehen musste, warum ihr Modell eine neue Entdeckung über das Innere unserer Augen gemacht hatte. Um einen Einblick in andere Einsatzmöglichkeiten von Explainable AI zu geben, haben wir uns auch andere Anwendungsfälle aus den Bereichen Vertrieb, Finanzwesen und Verteidigung angesehen. Diese Einführung soll dir zeigen, wie vielfältig die Erklärbarkeit eingesetzt werden kann, angefangen bei verschiedenen Arten von Daten und Erklärungen bis hin zu dem universellen Bedarf an Erklärbarkeit, unabhängig von dem spezifischen Bereich, in dem du arbeitest, und dem Problem, das ML für dein Unternehmen löst.

Im weiteren Verlauf dieses Buches werden wir detaillierter auf die Werkzeuge und Frameworks eingehen, die du brauchst, um Explainable AI in deiner täglichen Arbeit beim Aufbau und Einsatz von ML-Modellen effektiv zu nutzen. Außerdem vermitteln wir dir ein Hintergrundwissen über Erklärbarkeit, damit du über die Kompromisse zwischen verschiedenen Arten von Techniken nachdenken kannst, und geben dir einen Leitfaden für die Entwicklung eines verantwortungsvollen, nutzbringenden Umgangs mit Erklärbarkeit für andere ML-Nutzer. Unsere Toolbox deckt die drei gängigsten Datenmodalitäten in der ML ab: Tabellen, Bilder und Texte, mit einem zusätzlichen Überblick über fortgeschrittenere Techniken, einschließlich beispiel- und konzeptbasierter Ansätze für XAI und wie man XAI für Zeitreihenmodelle gestaltet. In diesem Buch versuchen wir, eine fundierte Sichtweise darüber zu vermitteln, welche Tools für die verschiedenen Anwendungsfälle am besten geeignet sind und warum, damit du pragmatischer entscheiden kannst, wie du die Erklärbarkeit einsetzt.

In Kapitel 2 geben wir dir einen Rahmen, wie verschiedene Erklärungsmethoden kategorisiert und bewertet werden können, sowie eine Taxonomie, wie du beschreiben kannst, wer letztendlich eine Erklärung nutzt, um die Ziele zu klären, die du bei der Entwicklung einer erklärungsfähigen KI für dein ML-Modell verfolgst.

1 Die Autoren danken dem National Cancer Institute (NCI) für den Zugang zu ihren Daten, die im Rahmen des Prostate, Lung, Colorectal and Ovarian (PLCO) Cancer Screening Trial gesammelt wurden. Die hierin enthaltenen Aussagen sind ausschließlich die der Autoren und stellen keine Zustimmung oder Befürwortung durch das NCI dar oder implizieren diese.

2 Edward Korot et al., "Predicting Sex from Retinal Fundus Photographs Using Automated Deep Learning", Scientific Reports 11, article no. 10286 (Mai 2021), https://oreil.ly/Le50t.

3 Jilei Yang et al., "The Journey to Build an Explainable AI-Driven Recommendation System to Help Scale Sales Efficiency Across LinkedIn", LinkedIn, April 6, 2022, https://oreil.ly/JJPj9.

4 Daniel Qiu und Yucheng Qian, "Relevance Debugging and Explaining at LinkedIn", LinkedIn, 2019, https://oreil.ly/cSFhj.

5 Jilei Yang et al., "CrystalCandle: A User-Facing Model Explainer for Narrative Explanations," arXiv, 2021, https://arxiv.org/abs/2105.12941.

6 Siehe PwC, "Insurance Claims Estimator Uses AI for Efficiency",(https://oreil.ly/3vMUr) für weitere Informationen.

7 Roy McGrath et al., "Interpretable Credit Application Predictions with Counterfactual Explanations", arXiv, 2018, https://arxiv.org/abs/1811.05245.

8 Dr. Matt Turek, "Explainable Artificial Intelligence (XAI)", DARPA.

Get Erklärbare KI für Praktiker now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial