Die Überwachung der Datenqualität automatisieren

Kapitel 7. Integration der Überwachung mit Daten-Tools und -Systemen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wie wir in Kapitel 1 besprochen haben, existiert die Überwachung der Datenqualität nicht im luftleeren Raum, sondern ist ein wichtiger Bestandteil des Datenstapels eines Unternehmens, der aus vielen verschiedenen Systemen und Komponenten besteht. Das bedeutet, dass Integrationen ein wesentlicher Bestandteil jeder Datenqualitätsüberwachungsplattform sind. Es gibt zwei Arten von Integrationen: Table Stakes und Differentiators. Table Stakes-Integrationen mit Data Warehouses/Data Lakes und ETL-Tools sind notwendig, damit deine Plattform Datenqualitätsprobleme für Daten im Ruhezustand und für Daten in Bewegung erkennen kann.

Dann gibt es noch die Unterscheidungsmerkmale: die Integrationen, die nicht notwendig sind, um Datenqualitätsprobleme zu erkennen, aber einen großen Zusatznutzen bringen. Beispiele dafür sind Integrationen mit Datenkatalogen und Analyse- oder Business Intelligence (BI)-Tools. Diese stellen sicher, dass jemand, der Daten in einem anderen Kontext betrachtet, außerhalb der UX der Datenqualitätsüberwachungsplattform, sofort erkennen kann, ob diese Daten von hoher Qualität sind.

In diesem Kapitel erfahren wir, wie du die Integration mit:

• Data Warehouses wie Snowflake und Databricks

• Datenorchestratoren wie Apache Airflow und dbt

• Datenkataloge wie Alation und Databricks ...