Grundlagen der Datenqualität

Kapitel 10. Pionierarbeit für die Zukunft zuverlässiger Datensysteme

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wenn du aus den Data Quality Fundamentals etwas über den allgemeinen Stand der Analytik und des Data Engineering gelernt hast, dann wahrscheinlich, dass die Datenbranche einen massiven, unumkehrbaren Wandel durchmacht.

Noch vor fünf Jahren war es nicht ungewöhnlich, dass Daten in Silos lebten, auf die nur Funktionsteams ad hoc zugreifen konnten, um zum Beispiel zu verstehen, wie interne Systeme genutzt werden, oder um Daten über die Nutzung von Anwendungen im Laufe der Zeit abzufragen. Jetzt werden analytische Daten zur wichtigsten und wettbewerbsfähigsten Währung des modernen Unternehmens. Es geht nicht mehr darum, ob dein Unternehmen auf Daten angewiesen ist, sondern wie viel und für welche Anwendungsfälle.

Doch es reicht nicht aus, einfach mehr Daten zu sammeln, man muss ihnen auch vertrauen können. Lösungen wie Cloud-Data-Warehouses und -Loans, Datenkataloge, Open-Source-Testing-Frameworks und Lösungen zur Datenbeobachtung bieten zusätzliche Funktionen, um die Zuverlässigkeit der Daten in den Mittelpunkt zu rücken. Warehouses wie Snowflake und Redshift machen es einfach, Datenqualitätsmetriken für Frische und Volumen zu ermitteln, während Open-Source-Tools wie dbt und Great Expectations es Praktikern ermöglichen, ihre kritischen Datensätze schnell zu testen. Sogar Kataloge ...