Kapitel 6. Daten umwandeln
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Im ELT-Muster, das in Kapitel 3 definiert wurde, ist der nächste Schritt in der Pipeline die Datentransformation, sobald die Daten in einen Data Lake oder ein Data Warehouse(Kapitel 4) aufgenommen worden sind. Die Datenumwandlung kann sowohl die kontextunabhängige Manipulation von Daten als auch die Modellierung von Daten mit Blick auf den Geschäftskontext und die Logik umfassen.
Wenn der Zweck der Pipeline darin besteht, Geschäftseinblicke oder Analysen zu erstellen, werden die Daten zusätzlich zu allen kontextunabhängigen Transformationen in Datenmodelle umgewandelt. Wie in Kapitel 2 beschrieben, strukturiert und definiert ein Datenmodell Daten in einem Format, das für die Datenanalyse verstanden und optimiert wird. Ein Datenmodell wird als eine oder mehrere Tabellen in einem Data Warehouse dargestellt.
Obwohl Dateningenieure manchmal kontextunabhängige Transformationen in einer Pipeline erstellen, ist es mittlerweile üblich, dass Datenanalysten und Analytiker den Großteil der Datentransformationen durchführen. Dank des ELT-Patterns (sie haben die Daten, die sie brauchen, direkt im Warehouse!) und der unterstützenden Tools und Frameworks, die mit SQL als primärer Sprache entwickelt wurden, sind die Mitarbeiter in diesen Rollen befähigter denn je.
Dieses Kapitel befasst sich sowohl mit kontextunabhängigen Transformationen, ...
Get Data Pipelines Pocket Reference now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
