Maschinelles Lernen für hochriskante Anwendungen

Table of contents

1. Vorwort
2. Vorwort
   1. Wer sollte dieses Buch lesen?
   2. Was die Leser lernen werden
   3. Ausrichtung auf das NIST AI Risk Management Framework
   4. Buch Gliederung
      1. Teil I
      2. Teil II
      3. Teil III
   5. Beispiel-Datensätze
      1. Taiwan Kreditdaten
      2. Kaggle-Brust-Röntgen-Daten
   6. In diesem Buch verwendete Konventionen
   7. Online Zahlen
   8. Code-Beispiele verwenden
   9. O'Reilly Online Learning
   10. Wie du uns kontaktierst
   11. Danksagungen
       1. Patrick Hall
       2. James Curtis
       3. Parul Pandey
3. I. Theorien und praktische Anwendungen des KI-Risikomanagements
4. 1. Zeitgemäßes Risikomanagement durch maschinelles Lernen
   1. Eine Momentaufnahme der rechtlichen und regulatorischen Landschaft
      1. Der Vorschlag für ein EU-KI-Gesetz
      2. US-Bundesgesetze und Verordnungen
      3. Landes- und Kommunalgesetze
      4. Grundlegende Produkthaftung
      5. Durchsetzung der Federal Trade Commission
   2. Bewährte Methoden
   3. AI-Vorfälle
   4. Kulturelle Kompetenzen für das Risikomanagement beim maschinellen Lernen
      1. Organisatorische Verantwortlichkeit
      2. Kultur der effektiven Herausforderung
      3. Vielfältige und erfahrene Teams
      4. Unseren eigenen Champagner trinken
      5. Sich schnell bewegen und Dinge kaputt machen
   5. Organisatorische Abläufe für das Risikomanagement beim maschinellen Lernen
      1. Vorhersage von Ausfallmodi
      2. Risikomanagement-Prozesse modellieren
      3. Jenseits des Modell-Risikomanagements
   6. Fallstudie: Der Aufstieg und Fall von Zillows iBuying
      1. Fallout
      2. Gelernte Lektionen
   7. Ressourcen
5. 2. Interpretierbares und erklärbares maschinelles Lernen
   1. Wichtige Ideen für Interpretierbarkeit und Erklärbarkeit
   2. Erklärbare Modelle
      1. Additive Modelle
      2. Entscheidungsbäume
      3. Ein Ökosystem erklärungsfähiger Modelle für maschinelles Lernen
   3. Post-hoc-Erklärung
      1. Zuweisung und Bedeutung von Merkmalen
      2. Surrogat-Modelle
      3. Diagramme der Modellleistung
      4. Cluster Profiling
   4. Hartnäckige Schwierigkeiten der Post-hoc-Erklärung in der Praxis
   5. Paarung von erklärbaren Modellen und Post-Hoc-Erklärung
   6. Fallstudie: Vom Algorithmus benotet
   7. Ressourcen
6. 3. Fehlersuche bei maschinellen Lernsystemen für Sicherheit und Leistung
   1. Ausbildung
      1. Reproduzierbarkeit
      2. Datenqualität
      3. Modellspezifikation für Ergebnisse in der realen Welt
   2. Modell-Debugging
      1. Software-Tests
      2. Traditionelles Modell Bewertung
      3. Häufige Fehler beim maschinellen Lernen
      4. Residualanalyse
      5. Sensitivitätsanalyse
      6. Benchmark-Modelle
      7. Behebung: Bugs beheben
   3. Einsatz
      1. Domain Sicherheit
      2. Modellüberwachung
   4. Fallstudie: Tod durch autonomes Fahrzeug
      1. Fallout
      2. Ein unvorbereitetes Rechtssystem
      3. Gelernte Lektionen
   5. Ressourcen
7. 4. Umgang mit Verzerrungen beim maschinellen Lernen
   1. ISO- und NIST-Definitionen für Bias
      1. Systemische Verzerrungen
      2. Statistische Verzerrung
      3. Menschliche Vorurteile und die Kultur der Datenwissenschaft
   2. Rechtliche Vorstellungen von ML Bias in den Vereinigten Staaten
   3. Wer neigt dazu, von ML-Systemen beeinflusst zu werden?
   4. Schädigungen, die Menschen erfahren
   5. Prüfung auf Verzerrung
      1. Testdaten
      2. Traditionelle Ansätze: Testen auf gleichwertige Ergebnisse
      3. Eine neue Denkweise: Testen auf gleichwertige Leistungsqualität
      4. Am Horizont: Tests für das breitere ML-Ökosystem
      5. Zusammenfassung Testplan
   6. Vorurteile abmildern
      1. Technische Faktoren zur Milderung von Vorurteilen
      2. Die wissenschaftliche Methode und Versuchsplanung
      3. Ansätze zur Verringerung von Vorurteilen
      4. Menschliche Faktoren bei der Entschärfung von Vorurteilen
   7. Fallstudie: Das Bias Bug Bounty
   8. Ressourcen
8. 5. Sicherheit für maschinelles Lernen
   1. Grundlagen der Sicherheit
      1. Die gegnerische Denkweise
      2. CIA Triade
      3. Bewährte Methoden für Data Scientists
   2. Angriffe durch maschinelles Lernen
      1. Integritätsangriffe: Manipulierte Ergebnisse des maschinellen Lernens
      2. Angriffe auf die Vertraulichkeit: Extrahierte Informationen
   3. Allgemeine ML-Sicherheitsaspekte
   4. Gegenmaßnahmen
      1. Modell-Debugging für Sicherheit
      2. Modellüberwachung für Sicherheit
      3. Technologien zur Verbesserung der Privatsphäre
      4. Robustes maschinelles Lernen
      5. Allgemeine Gegenmaßnahmen
   5. Fallstudie: Umgehungsangriffe in der realen Welt
      1. Ausweichangriffe
      2. Gelernte Lektionen
   6. Ressourcen
9. II. KI-Risikomanagement in die Praxis umsetzen
10. 6. Erklärbare Boosting-Maschinen und das Erklären von XGBoost
    1. Konzeptauffrischung: Maschinelles Lernen - Transparenz
       1. Additivität versus Wechselwirkungen
       2. Schritte in Richtung Kausalität mit Beschränkungen
       3. Partielle Abhängigkeit und individuelle bedingte Erwartung
       4. Shapley-Werte
       5. Modell Dokumentation
    2. Die GAM-Familie der erklärbaren Modelle
       1. Elastic Net-Penalized GLM mit Alpha- und Lambda-Suche
       2. Verallgemeinerte additive Modelle
       3. GA2M und erklärbare Boosting-Maschinen
    3. XGBoost mit Constraints und Post Hoc Erklärung
       1. Eingeschränkter und uneingeschränkter XGBoost
       2. Erklären des Modellverhaltens mit partieller Abhängigkeit und ICE
       3. Entscheidungsbaum-Surrogatmodelle als Erklärungsmethode
       4. Shapley-Wert-Erklärungen
       5. Probleme mit Shapley-Werten
       6. Besser informierte Modellauswahl
    4. Ressourcen
11. 7. Erklärung eines PyTorch Image Classifier
    1. Erklärungen zur Klassifizierung von Röntgenaufnahmen der Brust
    2. Konzeptauffrischung: Erklärbare Modelle und Post-hoc-Erklärungstechniken
       1. Übersicht über erklärbare Modelle
       2. Okklusionsmethoden
       3. Gradientenbasierte Methoden
       4. Erklärbare KI für das Debugging von Modellen
    3. Erklärbare Modelle
       1. ProtoPNet und Varianten
       2. Andere erklärbare Deep Learning Modelle
    4. Trainieren und Erklären eines PyTorch Bildklassifikators
       1. Trainingsdaten
       2. Das Problem des Ungleichgewichts der Datensätze angehen
       3. Datenerweiterung und Bildbeschneidung
       4. Model Ausbildung
       5. Bewertung und Metriken
       6. Post-Hoc-Erklärungen mit Captum generieren
       7. Bewertung von Erklärungsmodellen
       8. Die Robustheit von Post-Hoc-Erklärungen
    5. Fazit
    6. Ressourcen
12. 8. XGBoost-Modelle auswählen und debuggen
    1. Konzeptauffrischung: ML debuggen
       1. Modellauswahl
       2. Sensitivitätsanalyse
       3. Residualanalyse
       4. Sanierung
    2. Ein besseres XGBoost-Modell auswählen
    3. Sensitivitätsanalyse für XGBoost
       1. Stresstest für XGBoost
       2. Methodik der Stresstests
       3. Daten ändern, um Rezessionsbedingungen zu simulieren
       4. Gegensätzliche Beispielsuche
    4. Residualanalyse für XGBoost
       1. Analyse und Visualisierung von Residuen
       2. Segmentierte Fehleranalyse
       3. Modellierung von Residuen
    5. Nachbesserung des ausgewählten Modells
       1. Überbetonung von PAY_0
       2. Verschiedene Bugs
    6. Fazit
    7. Ressourcen
13. 9. Fehlersuche in einem PyTorch Image Classifier
    1. Konzept-Auffrischung: Fehlersuche beim Deep Learning
    2. Fehlersuche in einem PyTorch Image Classifier
       1. Datenqualität und Lecks
       2. Software-Tests für Deep Learning
       3. Sensitivitätsanalyse für Deep Learning
       4. Sanierung
       5. Korrekturen der Empfindlichkeit
    3. Fazit
    4. Ressourcen
14. 10. Testen und Beseitigen von Verzerrungen mit XGBoost
    1. Konzeptauffrischung: Umgang mit ML Bias
    2. Model Ausbildung
    3. Modelle auf Verzerrungen prüfen
       1. Testansätze für Gruppen
       2. Individuelle Fairness
       3. Proxy Bias
    4. Vorurteile abbauen
       1. Vorverarbeitung
       2. In-Processing
       3. Nachbearbeitung
       4. Modellauswahl
    5. Fazit
    6. Ressourcen
15. 11. Red-Teaming XGBoost
    1. Konzept Auffrischung
       1. CIA Triade
       2. Angriffe
       3. Gegenmaßnahmen
    2. Model Ausbildung
    3. Angriffe für Red-Teaming
       1. Angriffe zur Modellextraktion
       2. Adversarial Beispiel Angriffe
       3. Angriffe auf die Mitgliedschaft
       4. Daten-Vergiftung
       5. Hintertüren
    4. Fazit
    5. Ressourcen
16. III. Fazit
17. 12. Wie man beim risikoreichen maschinellen Lernen erfolgreich ist
    1. Wer ist im Raum?
    2. Wissenschaft versus Technik
       1. Die datenwissenschaftliche Methode
       2. Die wissenschaftliche Methode
    3. Bewertung der veröffentlichten Ergebnisse und Behauptungen
    4. Externe Standards anwenden
    5. Vernünftige Risikominderung
    6. Fazit
    7. Ressourcen
18. Index
19. Über die Autoren