Kapitel 5. Eisberg-Kataloge
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
In diesem Kapitel werden wir uns mit den Iceberg-Katalogen beschäftigen. Du hast gesehen, dass ein Katalog eine wichtige Komponente von Iceberg ist, die es ihm ermöglicht, die Konsistenz mit mehreren Lesern und Schreibern zu gewährleisten und herauszufinden, welche Tabellen in der Umgebung verfügbar sind. In diesem Kapitel werden wir Folgendes behandeln:
Die Anforderungen an einen Katalog im Allgemeinen und zusätzliche Anforderungen, die für die Verwendung eines Katalogs in der Produktion empfohlen werden
Die verschiedenen Katalog-Implementierungen, einschließlich der Vor- und Nachteile und wie man Spark für die Nutzung des Katalogs konfiguriert
In welchen Situationen du die Migration von Katalogen in Betracht ziehen solltest
Wie man von einem Katalog in einen anderen migriert
Anforderungen an einen Eisberg-Katalog
Iceberg bietet eine Katalogschnittstelle, die die Implementierung einer Reihe von Funktionen erfordert, vor allem zum Auflisten vorhandener Tabellen, zum Erstellen von Tabellen, zum Löschen von Tabellen, zum Prüfen, ob eine Tabelle existiert, und zum Umbenennen von Tabellen.
Da es sich um eine Schnittstelle handelt, gibt es mehrere Implementierungen, darunter Hive Metastore, AWS Glue und einen Dateisystemkatalog (Hadoop). Neben der Anforderung, die in der Schnittstelle definierten Funktionen zu implementieren, ...
Get Apache Iceberg: Der endgültige Leitfaden now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
