Kapitel 4. Überwachung und Erkennung von Anomalien für deine Datenpipelines
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Stell dir vor, du hast gerade ein neues Auto gekauft. Nach der routinemäßigen Überprüfung vor dem Kauf funktionieren alle Systeme wie im Handbuch beschrieben, der Öl- und der Bremsflüssigkeitsbehälter sind fast bis zum Rand gefüllt und die Teile sind so gut wie neu - denn das sind sie ja auch.
Nachdem du die Schlüssel bei deinem Händler abgeholt hast, machst du dich auf den Weg. "Es geht nichts über den Geruch eines neuen Autos", denkst du, als du auf die Autobahn auffährst. Alles ist gut und schön, bis du einen lauten Knall hörst. Igitt. Und dein Auto fängt an zu wackeln. Du fährst auf den Seitenstreifen, schaltest den Warnblinker ein und springst aus dem Auto. Nach einer kurzen Untersuchung hast du den vermeintlichen Verursacher des lauten Geräuschs ausgemacht - einen platten Reifen. Egal, wie viele Tests oder Überprüfungen dein Autohaus durchgeführt hat, um den Zustand deines Autos zu überprüfen, es gibt keine Möglichkeit, unbekannte Faktoren (z. B. Nägel oder Schmutz auf der Straße) zu berücksichtigen, die dein Fahrzeug beeinträchtigen könnten.
Ähnlich verhält es sich bei den Daten: Alle Tests und Datenqualitätsprüfungen können dich nicht vollständig vor Datenausfällen schützen, die in allen Phasen der Pipeline auftreten und eine Vielzahl von Gründen ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access