Die Self-Service-Daten-Roadmap

Kapitel 18. Qualität Beobachtbarkeit Dienst

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir uns mit der Bereitstellung von Einblicken beschäftigt, die jetzt in der Produktion verwendet werden können. Nehmen wir ein reales Beispiel für ein Business-Dashboard, das in der Produktion eingesetzt wird und eine Spitze in einer der Kennzahlen anzeigt (z. B. neue Bruttoabonnenten). Die Datennutzer müssen sicherstellen, dass die Spitze tatsächlich die Realität widerspiegelt und nicht das Ergebnis eines Datenqualitätsproblems ist. Mehrere Dinge können schief gehen und zu Qualitätsproblemen führen: unkoordinierte Änderungen des Quellschemas, Änderungen der Eigenschaften von Datenelementen, Probleme bei der Datenaufnahme, Quell- und Zielsysteme mit nicht synchronen Daten, Verarbeitungsfehler, falsche Geschäftsdefinitionen für die Generierung von Metriken und so weiter.

Die Verfolgung der Qualität in Produktionspipelines ist komplex. Erstens gibt es keine einheitliche und standardisierte E2E-Verfolgung der Datenqualität über mehrere Quellen in der Datenpipeline. Dies führt zu einer langen Verzögerung bei der Erkennung und Behebung von Datenqualitätsproblemen. Außerdem gibt es derzeit keine standardisierte Plattform, die es den Teams abverlangt, ihre eigene Hardware- und Software-Infrastruktur einzusetzen und zu verwalten, um das Problem zu lösen. Zweitens erfordert die Definition der Qualitätsprüfungen ...