Praktische Seehaus-Architektur

Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wir schreiben das Jahr 2024 - das Jahr der KI!

Genau wie 2023 und 2022, und ein paar Jahre davor.

In der heutigen Welt ist KI überall. Aber KI braucht Daten. Daten, die von guter Qualität sind. Daten, die auffindbar sind. Daten, die von Menschen und Maschinen leicht genutzt werden können.

Aber wie stellen wir sicher, dass wir solche Daten zur Verfügung stellen?

Durch die Implementierung robuster Datenplattformen, die diese Daten aufnehmen, speichern und pflegen, um sie allen Nutzern zugänglich zu machen.

Die besten datengesteuerten Unternehmen von heute setzen KI ein und sind stark von Daten abhängig. Sie haben in moderne Datenplattformen investiert, die ihre aktuellen und zukünftigen Anforderungen unterstützen. Moderne Datenplattformen brauchen moderne Datenarchitekturen, wie z. B. Lakehouses, um ihre BI- und KI-Anforderungen zu unterstützen.

Die Lakehouse-Architektur - das Hauptthema dieses Buches - nutzt technologische Fortschritte, um das Design von Datenplattformen zu vereinfachen, und ermöglicht es Unternehmen, skalierbare und offene Plattformen aufzubauen. Die Lakehouse-Architektur hat in den letzten Jahren an Popularität gewonnen, da mehrere Unternehmen, Produktanbieter und Datenexperten ihre Plattformen mit dieser Architektur implementieren. Es gibt keinen besseren Zeitpunkt, um Lakehouse für deine Anwendungsfälle zu erkunden, zu verstehen und zu bewerten, und dieses Buch kann dir dabei helfen, deine Reise zu beginnen.

Wer sollte dieses Buch lesen?

Dieses Buch richtet sich an alle Datenpraktiker, die mit großen Datenmengen umgehen und für die Gestaltung und Implementierung moderner Datenplattformen verantwortlich sind.

Dieses Buch ist ein umfassender Leitfaden für Datenarchitekten und kann ihnen helfen, wichtige Überlegungen zu verstehen, Designprinzipien festzulegen und wichtige Entscheidungen bei der Implementierung einer Datenplattform zu treffen. Dateningenieuren hilft dieses Buch, Schlüsselkonzepte wie offene Tabellenformate, Schemaentwicklung und Zeitreisen zu verstehen, die sie bei der Implementierung von Datenpipelines nutzen können. Datenanalysten und Data Scientists erfahren mehr über wichtige Themen wie Lakehouse-Datenmanagement, Data Discovery, Zugriffskontrolle und den Umgang mit sensiblen Daten.

Datenarchitekten, die neu in der Lakehouse-Architektur sind, können dieses Buch lesen, um die Kernkonzepte zu lernen. Erfahrene Datenarchitekten und leitende Dateningenieure können dieses Handbuch nutzen, um in der Entwurfsphase wichtige Entscheidungen zu treffen. Und Datenverantwortliche können dieses Buch bei der Planung ihrer Lakehouse-Initiativen zu Rate ziehen.

Warum ich dieses Buch geschrieben habe

Als ich vor einigen Jahren mit der Arbeit an einem Lakehouse-Projekt begann, befanden sich die offenen Tabellenformate noch in der Entwicklung, und nicht alle Cloud-Dienste unterstützten Lakehouse-Technologien wie offene Tabellenformate. Auch kannten nicht viele Datenexperten die Vorteile der Lakehouse-Architektur und wussten nicht, wie sie ihre Datenlandschaft vereinfachen konnte. Es gab nicht viel Material für eine durchgängige Anleitung zur Gestaltung und Umsetzung eines Lakehouse mit verschiedenen Technologien auf verschiedenen Cloud-Plattformen. Daraufhin habe ich angefangen, über diese Themen zu bloggen, um meine Erfahrungen und Erkenntnisse mit anderen zu teilen. Als ich die Gelegenheit bekam, dieses Buch zum selben Thema zu schreiben, dachte ich, es sei der richtige Zeitpunkt, um mein Wissen und meine Beobachtungen mit einem größeren Publikum zu teilen.

Dieses Buch ist mein Versuch, in einfachen Worten zu erklären, wie man ein Lakehouse entwirft und implementiert. Ich habe mehrere Beispiele für AWS, Azure, GCP, Databricks, Snowflake und andere Plattformen angeführt, um verschiedene Datenmanagement- und Governance-Prozesse zu erklären. Ich hoffe, dieses Buch wird dir bei der Implementierung deiner Datenplattformen helfen.

Navigieren in diesem Buch

Dieses Buch besteht aus neun Kapiteln, die jeweils einen anderen Aspekt der Entwicklung und Implementierung einer Lakehouse-Datenplattform behandeln.

Kapitel 1 führt dich in die Lakehouse-Architektur ein und erläutert die wichtigsten Konzepte, Funktionen und Vorteile der Implementierung einer Datenplattform mit Lakehouse-Architektur. Dieses Kapitel hilft dir außerdem, die grundlegenden Konzepte für den Aufbau von Datenplattformen zu verstehen.

Kapitel 2 befasst sich mit traditionellen Architekturen wie Data Warehouses und Data Lakes und erklärt, wie sich die Lakehouse-Architektur von diesen Mustern abhebt. Wenn du dich zum ersten Mal mit Data Warehouses oder Data Lakes beschäftigst, ist dieses Kapitel eine gute Grundlage für das Verständnis dieser Architekturen.

Kapitel 3 befasst sich mit der Speicherung - dem Herzstück des Lakehouse. Dieses Kapitel erklärt offene Tabellenformate wie Apache Iceberg, Apache Hudi und Delta Lake. Außerdem werden die wichtigsten Überlegungen zur Bewertung verschiedener Datei- und Tabellenformate beschrieben, damit du das richtige Format für deinen Anwendungsfall auswählen kannst.

Kapitel 4 konzentriert sich auf Datenkataloge und hilft dir, den gesamten Prozess der Metadatenverwaltung in einem Lakehouse zu verstehen. Es bietet einen Überblick über die Datenkatalogdienste auf den Plattformen AWS, Azure und GCP sowie über einige beliebte Produkte von Drittanbietern.

Kapitel 5 befasst sich mit den verschiedenen Compute-Engine-Optionen für Data-Engineering- und Konsumaktivitäten. Es beschreibt Faktoren, die sich auf deinen Entscheidungsprozess bei der Auswahl der richtigen Compute Engine auswirken.

In Kapitel 6 werden die Governance- und Sicherheitsaspekte von Daten und KI-Assets in einem Seehaus behandelt. Es listet auch die Aktivitäten auf, die du je nach deiner Rolle durchführen solltest, um die Governance und Sicherheit der Daten im Lakehouse zu gewährleisten.

Kapitel 7 gibt einen Überblick über die Gestaltung deines Seehauses durch die Kombination von Speicherung, Rechenleistung und Datenkatalogen. Dieses Kapitel ist wichtig für Datenarchitekten, die während des Entwurfsprozesses Entscheidungen treffen müssen. Am Ende dieses Kapitels findest du einen Fragebogen, auf den du dich bei Gesprächen mit verschiedenen Interessengruppen beziehen kannst.

Während in den vorangegangenen Kapiteln die ideale Umsetzung eines Seehauses besprochen wurde, bietet Kapitel 8 einen Realitätscheck, indem es die Herausforderungen aufzeigt, denen du bei der Umsetzung eines Seehauses begegnen kannst. In diesem Kapitel werden die idealen und die realen Szenarien gegenübergestellt und es wird erklärt, wie du sie angehen kannst, um ein Seehaus in der realen Welt zu bauen.

Das letzte Kapitel, Kapitel 9, beschäftigt sich mit der Zukunft von Seeküchen. Es stellt einige der neuen Datei- und Tabellenformate, innovative Produkte und neue Ansätze für die Implementierung einer Seehaus-Plattform vor.

O'Reilly Online Learning

Hinweis

Seit mehr als 40 Jahren bietet O'Reilly Media Schulungen, Wissen und Einblicke in Technologie und Wirtschaft, um Unternehmen zum Erfolg zu verhelfen.

Unser einzigartiges Netzwerk von Experten und Innovatoren teilt sein Wissen und seine Erfahrung durch Bücher, Artikel und unsere Online-Lernplattform. Die Online-Lernplattform von O'Reilly bietet dir On-Demand-Zugang zu Live-Trainingskursen, ausführlichen Lernpfaden, interaktiven Programmierumgebungen und einer umfangreichen Text- und Videosammlung von O'Reilly und über 200 anderen Verlagen. Weitere Informationen erhältst du unter https://oreilly.com.

In diesem Buch verwendete Konventionen

In diesem Buch werden die folgenden typografischen Konventionen verwendet:

Kursiv

Weist auf neue Begriffe, URLs, E-Mail-Adressen, Dateinamen und Dateierweiterungen hin.

Constant width

Wird für Programmlistings sowie innerhalb von Absätzen verwendet, um auf Programmelemente wie Variablen- oder Funktionsnamen, Datenbanken, Datentypen, Umgebungsvariablen, Anweisungen und Schlüsselwörter hinzuweisen.

Tipp

Dieses Element steht für einen Tipp oder eine Anregung.

Hinweis

Dieses Element steht für einen allgemeinen Hinweis.

Warnung

Dieses Element weist auf eine Warnung oder einen Warnhinweis hin.

Wie du uns kontaktierst

Bitte richte Kommentare und Fragen zu diesem Buch an den Verlag:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Nord
• Sebastopol, CA 95472
• 800-889-8969 (in den Vereinigten Staaten oder Kanada)
• 707-827-7019 (international oder lokal)
• 707-829-0104 (Fax)
• [e-mail]
• https://oreilly.com/about/contact.html

Wir haben eine Webseite für dieses Buch, auf der wir Errata, Beispiele und zusätzliche Informationen auflisten. Du kannst diese Seite unter https://oreil.ly/lakehouse-architecture aufrufen .

Neuigkeiten und Informationen über unsere Bücher und Kurse findest du unter https://oreilly.com.

Finde uns auf LinkedIn: https://linkedin.com/company/oreilly-media

Schau uns auf YouTube: https://youtube.com/oreillymedia

Danksagungen

Meine Reise in die Welt der Daten begann vor einigen Jahrzehnten zufällig. Während ich mich dafür interessierte, Animateur zu werden, bekam ich einen Job als ETL-Entwickler in der Ausbildung. In den letzten 20 Jahren ging es darum, Daten in verschiedenen Formen zu lernen, zu verstehen und zu erforschen. Viele Menschen haben mir auf dieser Reise geholfen, mich unterstützt und ermutigt, und dieses Buch ist das Ergebnis ihrer Bemühungen.

Ich bin all meinen Kollegen, Mentoren und Kunden sehr dankbar, dass sie mir die Möglichkeit gegeben haben, an einigen der spannendsten Daten- und Analyseprojekte zu arbeiten. Ein großes Lob an die verschiedenen Daten-Communities, Nutzergruppen, Autoren von Inhalten und Buchautoren rund um den Globus, die ihr Wissen mit mir geteilt haben. Ihr alle habt mich dazu inspiriert, dieses Buch zu schreiben.

Mein herzlicher Dank gilt Shivam Panicker, Sivakumar Ponnusamy und Ankush Gautam, den technischen Rezensenten dieses Buches, für ihre Einsichten und Vorschläge, die das Buch verbessert und den Lesern einen echten Mehrwert gebracht haben.

Ein Buch über mein Lieblingsthema zu schreiben, ist ein wahr gewordener Traum. Vielen Dank an das gesamte O'Reilly-Team für diese einmalige Gelegenheit. Ich möchte mich bedanken bei:

• Andy Kwan, meinem Akquisitionsredakteur, für sein Vertrauen in mich, dieses Buch zu schreiben, und dafür, dass er mir durch den anfänglichen Vorschlag und den Genehmigungsprozess geholfen hat.

• Jeff Bleiel, meinem Entwicklungsredakteur, der mich während meiner gesamten Reise als Autor unterstützt hat. Ohne seine Korrekturen, Vorschläge und Ermutigungen wäre dieses Buch nicht möglich gewesen.

• Nicole Taché, für das Lektorat und dafür, dass sie dieses Buch in eine bessere Form gebracht hat.

• Christopher Faucher, meinem Produktionsredakteur, der den Produktionsprozess koordiniert und geleitet und diesem Buch den letzten Schliff gegeben hat.

Schließlich möchte ich meiner Familie - meinen Eltern Ashok und Archana und meiner älteren Schwester Kirti - dafür danken, dass sie mir geholfen haben, diese Phase in meinem Leben zu erreichen. Vishakha, meine Frau, war meine Stütze, und Soham, mein Sohn, war meine größte Unterstützung. Dieses Buch wäre ohne ihre ständige Ermutigung nicht möglich gewesen.

Zu guter Letzt möchte ich mich bei dir, dem Leser dieses Buches, dafür bedanken, dass du dir die Zeit genommen hast, es zu lesen.