97 Dinge, die jeder Dateningenieur wissen sollte

Kapitel 53. Beobachtbarkeit für Dateningenieure

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Barr Moses

Da Unternehmen zunehmend datengesteuert sind, sind die Technologien, die den reichhaltigen Erkenntnissen der Daten zugrunde liegen, nuancierter und komplexer geworden. Unsere Fähigkeit, diese Daten zu sammeln, zu speichern, zu aggregieren und zu visualisieren, hat mit den Anforderungen moderner Datenteams weitgehend Schritt gehalten (man denke nur an bereichsorientierte Datennetze, Cloud-Warehouses und Datenmodellierungslösungen), aber die Mechanismen, die der Datenqualität und -integrität zugrunde liegen, sind zurückgeblieben.

Wie aus guten Daten schlechte werden

Nachdem ich mit mehreren hundert Data-Engineering-Teams gesprochen habe, habe ich drei Hauptgründe festgestellt, warum gute Daten schlecht werden:

Mehr und mehr Datenquellen

Heutzutage nutzen Unternehmen zwischen Dutzenden und Hunderten von internen und externen Datenquellen, um Analysen und ML-Modelle zu erstellen. Jede dieser Quellen kann sich auf unerwartete Weise und ohne Vorankündigung ändern und die Daten, die das Unternehmen für seine Entscheidungen nutzt, gefährden.

Zunehmend komplexe Datenpipelines

Datenpipelines werden immer komplexer, mit mehreren Verarbeitungsstufen und nicht trivialen Abhängigkeiten zwischen verschiedenen ...