Praktische Seehaus-Architektur

Kapitel 5. Compute Engines für Lakehouse-Architekturen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wenn die Speicherung das Herz des Seehauses ist, dann ist die Compute Engine das Gehirn, das alle Berechnungen durchführt. Um Daten von einer Datenplattform aufzunehmen, zu verarbeiten und zu nutzen, brauchst du eine leistungsstarke Compute Engine. Eine Compute Engine ermöglicht es Plattformnutzern wie Dateningenieuren, Datenanalysten, Datenwissenschaftlern, Geschäftsanwendern und anderen, auf Daten zuzugreifen und sie entsprechend ihren Bedürfnissen zu nutzen.

In diesem Kapitel gehen wir zunächst auf die verschiedenen Vorteile ein, die sich aus der Implementierung einer Lakehouse-Architektur für die Datenverarbeitung ergeben. Wir werden untersuchen, wie Lakehouses eine einheitliche Batch- und Echtzeitverarbeitung ermöglichen, die Leistung von BI-Workloads verbessern und die Freiheit bieten, eine beliebige Verarbeitungs-Engine zu wählen.

Wir werden auch die verschiedenen Compute Engines besprechen, die über Open-Source-Tools, Cloud-Plattformen oder andere Plattformen von Drittanbietern verfügbar sind. Jeder CSP bietet Daten- und Analysedienste an, die Rechenressourcen bereitstellen. Wir werden einige der gängigsten Dienste besprechen, die Dateningenieure und -analysten in modernen Datenplattformen nutzen, und deren unterschiedliche Unterstützung für offene Tabellenformate. Die Beispiele, die ...