book

Zuverlässiges maschinelles Lernen

by Cathy Chen, Niall Richard Murphy, Kranti Parisa, D. Sculley, Todd Underwood

September 2024

Intermediate to advanced

410 pages

14h 43m

German

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Warum wir dieses Buch geschrieben habenSRE als die Linse auf MLZielpublikumWie dieses Buch organisiert istUnser AnsatzLass uns stricken!Navigieren in diesem BuchÜber die AutorenIn diesem Buch verwendete KonventionenO'Reilly Online LearningWie du uns kontaktierstDanksagungenCathy ChenNiall Richard MurphyKranti ParisaD. SculleyTodd Underwood
Der ML-LebenszyklusDatenerhebung und -analyseML Training PipelinesAnwendungen erstellen und validierenQualität und LeistungsbewertungDefinieren und Messen von SLOsStartÜberwachung und RückkopplungsschleifenLektionen aus dem Loop
Daten als HaftungDie Datensensitivität von ML-PipelinesPhasen der DatenSchöpfungVerschluckenVerarbeitungSpeicherungManagementAnalyse und VisualisierungDatenzuverlässigkeitLanglebigkeitKonsistenzVersionskontrolleLeistungVerfügbarkeitDatenintegritätSicherheitDatenschutzPolitik und ComplianceFazit
Was ist ein Modell?Ein grundlegender Arbeitsablauf zur ModellerstellungModellarchitektur vs. Modelldefinition vs. trainiertes ModellWo sind die Schwachstellen?TrainingsdatenEtikettenAusbildungsmethodenInfrastruktur und PipelinesPlattformenFeature GenerationUpgrades und KorrekturenEine Reihe nützlicher Fragen zu jedem ModellEin Beispiel für ein ML-SystemGarn Produkt Klick-Vorhersage ModellEigenschaftenEtiketten für MerkmaleModellaktualisierungModell ServierenHäufige MisserfolgeFazit
EigenschaftenAuswahl und Entwicklung von MerkmalenLebenszyklus eines FeaturesFeature SystemeEtikettenVon Menschen erstellte EtikettenAnmerkung ArbeitskräfteMessung der Qualität von menschlichen KommentarenEine AnnotationsplattformAktives Lernen und KI-gestützte KennzeichnungDokumentation und Schulung für EtikettiererMetadatenÜberblick über MetadatensystemeMetadaten zum DatensatzMerkmal MetadatenLabel-MetadatenPipeline-MetadatenDatenschutz und FairnessDatenschutzFairnessFazit
Bewertung der ModellvaliditätBewertung der ModellqualitätOffline-BewertungenAuswertung VerteilungenEinige nützliche MetrikenOperationalisierung von Überprüfung und BewertungFazit
Fairness (auch bekannt als "Fighting Bias")Definitionen von FairnessFairness erreichenFairness als Prozess und nicht als EndpunktEine kurze rechtliche AnmerkungDatenschutzMethoden zum Schutz der PrivatsphäreEine kurze rechtliche AnmerkungVerantwortungsvolle KIErläuterungWirksamkeitSoziale und kulturelle AngemessenheitVerantwortungsvolle KI entlang der ML-PipelineUse Case BrainstormingDatenerhebung und -bereinigungModellerstellung und SchulungModellvalidierung und QualitätsbewertungModel DeploymentProdukte für den MarktFazit
AnforderungenImplementierung des GrundausbildungssystemsEigenschaftenFeature StoreModel Management SystemOrchestrierungQualitätsbewertungÜberwachungAllgemeine ZuverlässigkeitsgrundsätzeDie meisten Misserfolge sind keine ML-FehlerModelle werden neu trainiertModelle haben mehrere Versionen (zur gleichen Zeit!)Gute Modelle werden schlechtDaten werden nicht verfügbar seinModelle sollten verbesserungsfähig seinFunktionen werden hinzugefügt und geändertModels können zu schnell trainierenRessourcennutzung ist wichtigAusschöpfung != EffizienzAusfälle beinhalten WiederherstellungHäufige Probleme mit der AusbildungszuverlässigkeitDaten-EmpfindlichkeitBeispiel Datenproblem bei YarnItReproduzierbarkeitBeispiel Reproduzierbarkeitsproblem bei YarnItRechenressource KapazitätBeispiel Kapazitätsproblem bei YarnItStrukturelle VerlässlichkeitOrganisatorische HerausforderungenEthische und faire ErwägungenFazit
Schlüsselfragen für den ModelldienstWas wird die Belastung für unser Modell sein?Welche Vorhersage-Latenzzeit benötigt unser Modell?Wo muss das Modell leben?Welche Hardware wird für unser Modell benötigt?Wie wird das Serving Model gespeichert, geladen, versioniert und aktualisiert?Wie wird unsere Feature-Pipeline für das Serving aussehen?Model Serving ArchitekturenOffline Serving (Batch Inference)Online-Dienste (Online-Inferenz)Model as a ServiceDienen am RandeDie Wahl einer ArchitekturModell API DesignTestenDienen für Genauigkeit oder Widerstandsfähigkeit?SkalierungAutoskalierungCachingKatastrophenhilfeEthische und faire ErwägungenFazit

Was ist Produktionsüberwachung und warum sollte man sie durchführen?Wie sieht es aus?Die Bedenken, die ML für die Überwachung mit sich bringtGründe für eine kontinuierliche ML-Beobachtung in der ProduktionProbleme mit der ML-ProduktionsüberwachungSchwierigkeiten der Entwicklung gegenüber dem DienenEine Änderung der Denkweise ist erforderlichBewährte Methoden für die Überwachung von ML-ModellenAllgemeine Empfehlungen für das Pre-Serving-ModellAusbildung und UmschulungModellvalidierung (vor dem Rollout)DienenAndere Dinge zu beachtenHochrangige Empfehlungen für die ÜberwachungsstrategieFazit
Anatomie eines kontinuierlichen ML-SystemsAusbildungsbeispieleAusbildung EtikettenSchlechte Daten herausfilternFunktionsspeicher und DatenmanagementDas Modell aktualisierenAktualisierte Modelle zum Serving bringenBeobachtungen über kontinuierliche ML-SystemeExterne Weltereignisse können unsere Systeme beeinflussenModelle können ihre eigenen Trainingsdaten beeinflussenZeitliche Auswirkungen können auf verschiedenen Zeitskalen auftretenNotfallmaßnahmen müssen in Echtzeit durchgeführt werdenNeueinführungen erfordern gestaffelte Anläufe und stabile AusgangssituationenModelle müssen verwaltet und nicht verschickt werdenKontinuierliche OrganisationenNicht-kontinuierliche ML-Systeme überdenkenFazit
Grundlagen des Incident ManagementDas Leben eines ZwischenfallsRollen bei der Reaktion auf VorfälleAnatomie eines ML-zentrierten AusfallsTerminologie-Erinnerung: ModellGeschichtenzeitGeschichte 1: Gesucht, aber nicht gefundenGeschichte 2: Plötzlich nutzlose PartnerGeschichte 3: Empfehlen Sie, neue Lieferanten zu findenML-Prinzipien für das Incident ManagementLeitprinzipienModellentwickler oder DatenwissenschaftlerSoftwareentwicklungML SRE oder ProduktionsingenieurProduktmanager oder GeschäftsleiterBesondere ThemenProduktionsingenieure und ML Engineering vs. ModellierungDas Manifest des ethischen BereitschaftsdienstesFazit
Verschiedene Arten von ProduktenAgile ML?ML ProduktentwicklungsphasenEntdeckung und DefinitionBusiness-ZielsetzungMVP Konstruktion und ValidierungModell- und ProduktentwicklungEinsatzUnterstützung und WartungBauen versus KaufenModelleInfrastruktur der DatenverarbeitungEnd-to-End-PlattformenScoring-Ansatz für die EntscheidungDie Entscheidung treffenBeispiele für YarnIt Store Funktionen Powered by MLPräsentation beliebter Garne nach GesamtumsatzEmpfehlungen auf Basis des BrowserverlaufsCross-Selling und UpsellingInhaltsbasiertes FilternKollaborative FilterungFazit
Kapitel AnnahmenFührungsperspektiveDetailfragenML muss über das Geschäft Bescheid wissenDie wichtigste Annahme, die du triffstDer Wert von MLErhebliche organisatorische RisikenML ist keine MagieMental (Denkweise) Modell TrägheitRichtiges Aufdecken von Risiken in verschiedenen KulturenAbgeschottete Teams lösen nicht alle ProblemeUmsetzungsmodelleSich an das Ziel erinnernGreenfield versus BrownfieldML-Rollen und VerantwortlichkeitenWie man ML-Leute einstelltOrganisatorische Gestaltung und AnreizeStrategieStrukturProzesseBelohnungenMenschenEin Hinweis zur SequenzierungFazit
Szenario 1: Ein neues zentrales ML-TeamHintergrund und organisatorische BeschreibungProzessBelohnungenMenschenStandard-ImplementierungSzenario 2: Dezentralisierte ML-Infrastruktur und ExpertiseHintergrund und organisatorische BeschreibungProzessBelohnungenMenschenStandard-ImplementierungSzenario 3: Hybrid mit zentraler Infrastruktur/dezentraler ModellierungHintergrund und organisatorische BeschreibungProzessBelohnungenMenschenStandard-ImplementierungFazit
1. Berücksichtigung von Datenschutz- und Datenspeicherungsrichtlinien in ML-PipelinesHintergrundProblem und LösungMitbringsel2. Kontinuierliches ML-Modell mit Auswirkungen auf den VerkehrHintergrundProblem und LösungMitbringsel3. Stahl InspektionHintergrundProblem und LösungMitbringsel4. NLP MLOps: Profiling und Staging LasttestHintergrundProblem und LösungMitbringsel5. Vorhersage von Anzeigenklicks: Datenbanken gegen die RealitätHintergrundProblem und LösungMitbringsel6. Testen und Messen von Abhängigkeiten im ML-WorkflowHintergrundProblem und LösungMitbringsel

Content preview from Zuverlässiges maschinelles Lernen

Kapitel 6. Fairness, Datenschutz und ethische ML-Systeme

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Von Aileen Nielsen

Dieses Kapitel ist Themen gewidmet, die mit ethischen Überlegungen und rechtlichen Verpflichtungen bei der Entwicklung oder dem Einsatz von ML-Systemen zu tun haben. Wir können keine erschöpfende Anleitung zu diesen Themen bieten, aber diese Ressource kann dir die richtige Richtung weisen. Am Ende dieses Kapitels ( ) solltest du ein gutes Gespür für die grundlegenden ethischen Überlegungen beim Einsatz von ML-Systemen haben und über konkrete Formulierungen und Begriffskategorien verfügen, die es dir ermöglichen, dich in den Bereichen, die für deine eigene Arbeit am ehesten in Frage kommen, gründlicher zu informieren.

Hinweis

Anmerkung der Redaktion: Als wir die Liste der Themen zusammenstellten, die MLOps-Leute wirklich wissen müssen, standen Fragen der Fairness, des Datenschutzes und der ethischen Bedenken in KI- und ML-Systemen ganz oben auf der Liste. Wir wussten aber auch, dass es für eine Gruppe von Autorinnen und Autoren, die stark mit der Industrie verbunden sind, schwierig ist, einen wirklich unvoreingenommenen Blick auf diese komplexen Themen zu werfen. Deshalb haben wir Aileen Nielsen, die Autorin von Practical Fairness (O'Reilly, 2020), eingeladen, dieses Kapitel unabhängig zu schreiben. Obwohl wir ihr Feedback zu den Entwürfen gegeben haben, um sie klarer zu ...