ETL verstehen

Kapitel 3. Daten-Orchestrierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Auch wenn wir bereits über Ingestion(E, L) und Transformation(T) gesprochen haben, haben wir nur an der Oberfläche von ETL gekratzt. Im Gegensatz zur Betrachtung von Datenpipelines als eine Reihe von Einzelschritten gibt es übergreifende Mechanismen, die auf einer Metaebene wirken und von Matt Housley und Joe Reis in Fundamentals of Data Engineering treffend als "Undercurrents" bezeichnet werden:

• Sicherheit

• Datenmanagement

• Datenoperationen (DataOps)

• Datenarchitektur

• Daten-Orchestrierung

• Softwareentwicklung

In diesem Kapitel befassen wir uns mit dem Abhängigkeitsmanagement und der Pipeline-Orchestrierung. Dabei gehen wir auch auf die Geschichte der Orchestratoren ein, die wichtig ist, um zu verstehen , warum bestimmte Methoden der Orchestrierung heute so beliebt sind. Wir stellen dir eine Reihe von Optionen vor, mit denen du deine eigenen Datenworkflows orchestrieren kannst, und besprechen einige gängige Entwurfsmuster für die Orchestrierung.

Im Laufe der Diskussion werden wir darauf eingehen, dass ein "Orchestrator" seit jeher von einem "Transformationswerkzeug" getrennt ist. Wir werden darauf eingehen, warum das so war und warum es in Zukunft vielleicht nicht mehr so sein wird, obwohl wir immer noch glauben, dass ein separater Orchestrator der beste Ansatz ist.

Was ist Data Orchestration?

Jeder Arbeitsablauf, ...