Der Cloud Data Lake

Kapitel 6. Tiefe Einblicke in Datenformate

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Design ist nicht nur, wie es aussieht und sich anfühlt. Design ist, wie es funktioniert.

Steve Aufträge

Traditionell werden Data Warehouses auf einem proprietären Datenformat aufgebaut, das sie für die Optimierung der Abfragemuster nutzen. Angesichts der zunehmenden Zahl von Szenarien, die durch den Cloud Data Lake bedient werden, insbesondere mit dem Aufkommen des Lakehouse-Architekturmusters, investieren immer mehr Kunden und Lösungsanbieter in Funktionen, die es ermöglichen, Warehouse-ähnliche Abfragen direkt auf dem Cloud Data Lake auszuführen. Damit kommen wir dem Versprechen nahe, eine Architektur zu liefern, die die Notwendigkeit minimiert, Daten für bestimmte Zwecke zwischen verschiedenen Datenspeichern hin und her zu kopieren. Dieses Versprechen einer silofreien Speicherung hat dazu geführt, dass es immer mehr offene Datenformate gibt, mit denen Warehouse-ähnliche Abfragen direkt in einer Cloud Data Lake Speicherung ausgeführt werden können. In diesem Kapitel werfen wir einen Blick auf drei solcher Formate: Apache Iceberg, Delta Lake und Apache Hudi. Dieses Kapitel ist wahrscheinlich das technischste in diesem Buch, in dem wir uns die Formate im Detail ansehen und erläutern, wie sie für die Szenarien, für die sie entwickelt wurden, eingesetzt werden. Ich hoffe, dass du in diesem Kapitel genug ...