Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Willkommen zu dieser ersten Ausgabe von Streaming Data Mesh! Dies ist dein Leitfaden für das Verständnis und den Aufbau eines Streaming Data Mesh, das alle Säulen eines Data Mesh erfüllt.

Data Mesh ist eine der beliebtesten Architekturen für Datenplattformen, die heute von vielen erforscht wird. Dieses Buch hilft dir, diese sich selbst bedienende Datenplattform im Streaming-Kontext vollständig zu verstehen. Heutzutage dominiert in den meisten Unternehmen die Stapelverarbeitung alle Extraktions-, Transformations- und Ladeprozesse (ETL). Dieses Buch zeigt dir eine andere Perspektive auf Datenpipelines und wendet dieselben Konzepte an, die du bereits aus der Batch-ETL kennst, allerdings in einer Streaming-ETL im Kontext eines Datengeflechts.

Dieses Buch soll dir helfen, die wesentlichen Konzepte rund um Streaming Data Mesh zu verstehen - die Konzepte, Architekturen und Technologien, die den Kern bilden. Das Buch deckt alle wesentlichen Themen rund um Streaming Data Mesh ab, von den Grundlagen der Datenarchitektur über den Einsatz von Big Data-Tools für Data Warehousing bis hin zu geschäftsorientierten Ansätzen für Streaming Data Mesh-Architekturen. Außerdem werden wir einen Blick auf die verschiedenen Dienste werfen, die zu einem erfolgreichen Streaming Data Mesh-Projekt gehören.

Dieses Buch setzt keine Vorkenntnisse über die Säulen voraus, aus denen ein Datennetz besteht. Wir stellen die Säulen kurz auf einer sehr hohen Ebene vor und definieren sie speziell im Hinblick auf Streaming. Wenn du das Gefühl hast, dass du ein detaillierteres Verständnis von Data Mesh benötigst, lies bitte das Buch Data Mesh von Zhamak Dehghani (O'Reilly).

Wer sollte dieses Buch lesen?

Dieses Buch richtet sich an alle, die mehr über Streaming Data Mesh erfahren möchten und die spannende Arbeit im Bereich Data Mesh mit Echtzeit-Streaming für Datentransformation, Datenproduktdefinition und Data Governance kombinieren möchten. Dieses Buch ist auch nützlich für Dateningenieure, Datenanalysten, Datenwissenschaftler, Softwarearchitekten und Product Owner, die eine Streaming-Data-Architektur für ihre Projekte implementieren wollen. Dieses Buch richtet sich an alle, die sich mit Streaming-Data-Technologien und bewährten Methoden für die Integration dieser Technologien in ihre Projekte vertraut machen wollen.

Warum wir dieses Buch geschrieben haben

Wir haben ein Buch über Streaming Data Mesh geschrieben, weil wir glauben, dass es das Potenzial hat, die Art und Weise, wie Unternehmen ihre Daten verwalten und verarbeiten, zu revolutionieren. Streaming Data Mesh ist eine Plattform, die Messaging-, Speicher- und Verarbeitungsfunktionen in einer umfassenden Lösung vereint. Durch die Erhöhung der Datenzuverlässigkeit und -abdeckung bei gleichzeitiger Kostenreduzierung ermöglicht diese Plattform Unternehmen, ihre digitale Transformation deutlich zu beschleunigen und datengesteuerte Organisationen zu werden. Mit diesem Buch wollen wir sicherstellen, dass unsere Leser/innen die wichtigsten Prinzipien, die neuesten Ansätze und die Do's and Dont's des Streaming Data Mesh verstehen. Außerdem wollen wir eine schrittweise Anleitung für die Einrichtung und den Betrieb eines Streaming Data Mesh geben und dabei bewährte Methoden berücksichtigen.

Navigieren in diesem Buch

Dieses Buch ist wie folgt gegliedert:

  • Die Kapitel 1 und 2 bieten eine Einführung in die Konzepte der Datenvermaschung und erweitern diese in einen Streaming-Kontext.
  • Kapitel 3 befasst sich ausführlich mit dem Domänenbesitz und den Ansätzen zur Identifizierung von Domänen, dem domänengesteuerten Design, den mit einer Datendomäne verbundenen Rollen, den in Betracht zu ziehenden Werkzeugen sowie einem Ansatz für domänenzentrierte Rückbelastungen.
  • Kapitel 4 befasst sich mit der Erstellung von Streaming-Datenprodukten, einschließlich der Identifizierung, Aufnahme, Umwandlung und Veröffentlichung von Datenprodukten.
  • Kapitel 5 befasst sich mit der föderalen Datenverwaltung in einem Streaming Data Mesh.
  • Kapitel 6 befasst sich mit der Selbstbedienungsinfrastruktur im Zusammenhang mit dem Streaming Data Mesh.
  • Kapitel 7 befasst sich mit der Architektur eines Streaming Data Mesh und seinen Komponenten, einschließlich Infrastruktur und Cloud-Architektur.
  • In Kapitel 8 geht es um die Struktur, die Ausrichtung und die Rollen, die mit dem Aufbau eines dezentralen Teams verbunden sind.
  • Kapitel 9 befasst sich mit der Anwendung von Streaming Data Mesh zur Erstellung von Feature Stores, um das Training und die Inferenz von Data-Science-Modellen zu unterstützen.
  • Kapitel 10 enthält ein konkretes Beispiel für die Erstellung eines Streaming-Datennetzes.

In diesem Buch verwendete Konventionen

In diesem Buch werden die folgenden typografischen Konventionen verwendet:

Kursiv

Weist auf neue Begriffe, URLs, E-Mail-Adressen, Dateinamen und Dateierweiterungen hin.

Constant width

Wird für Programmlistings sowie innerhalb von Absätzen verwendet, um auf Programmelemente wie Variablen- oder Funktionsnamen, Datenbanken, Datentypen, Umgebungsvariablen, Anweisungen und Schlüsselwörter hinzuweisen.

Constant width bold

Zeigt Befehle oder anderen Text an, der vom Benutzer wortwörtlich eingetippt werden sollte.

Constant width italic

Zeigt Text an, der durch vom Benutzer eingegebene Werte oder durch kontextabhängige Werte ersetzt werden soll.

Tipp

Dieses Element steht für einen Tipp oder eine Anregung.

Hinweis

Dieses Element steht für einen allgemeinen Hinweis.

Warnung

Dieses Element weist auf eine Warnung oder einen Warnhinweis hin.

Code-Beispiele verwenden

Zusätzliches Material (Code-Beispiele, Übungen usw.) steht unter https://github.com/hdulay/streaming-data-mesh zum Download bereit .

Wenn du eine technische Frage oder ein Problem mit den Codebeispielen hast, sende bitte eine E-Mail an

Dieses Buch soll dir helfen, deine Arbeit zu erledigen. Wenn in diesem Buch Beispielcode angeboten wird, darfst du ihn in deinen Programmen und deiner Dokumentation verwenden. Du musst uns nicht um Erlaubnis fragen, es sei denn, du reproduzierst einen großen Teil des Codes. Wenn du zum Beispiel ein Programm schreibst, das mehrere Teile des Codes aus diesem Buch verwendet, brauchst du keine Erlaubnis. Der Verkauf oder die Verbreitung von Beispielen aus O'Reilly-Büchern erfordert jedoch eine Genehmigung. Die Beantwortung einer Frage mit einem Zitat aus diesem Buch und einem Beispielcode erfordert keine Genehmigung. Wenn du einen großen Teil des Beispielcodes aus diesem Buch in die Dokumentation deines Produkts aufnimmst, ist eine Genehmigung erforderlich.

Wir freuen uns über eine Namensnennung, verlangen sie aber in der Regel nicht. Eine Quellenangabe umfasst normalerweise den Titel, den Autor, den Verlag und die ISBN. Zum Beispiel: "Streaming Data Mesh " von Hubert Dulay und Stephen Mooney (O'Reilly). Copyright 2023 Hubert Dulay und Stephen Mooney, 978-1-098-13072-5."

Wenn du der Meinung bist, dass die Verwendung von Code-Beispielen nicht unter die Fair-Use-Regelung oder die oben genannte Erlaubnis fällt, kannst du uns gerne unter kontaktieren

O'Reilly Online Learning

Hinweis

Seit mehr als 40 Jahren bietet O'Reilly Media Schulungen, Wissen und Einblicke in Technologie und Wirtschaft, um Unternehmen zum Erfolg zu verhelfen.

Unser einzigartiges Netzwerk von Experten und Innovatoren teilt sein Wissen und seine Erfahrung durch Bücher, Artikel und unsere Online-Lernplattform. Die Online-Lernplattform von O'Reilly bietet dir On-Demand-Zugang zu Live-Trainingskursen, ausführlichen Lernpfaden, interaktiven Programmierumgebungen und einer umfangreichen Text- und Videosammlung von O'Reilly und über 200 anderen Verlagen. Weitere Informationen erhältst du unter https://oreilly.com.

Wie du uns kontaktierst

Bitte wende dich mit Kommentaren und Fragen zu diesem Buch an den Verlag:

Wir haben eine Webseite für dieses Buch, auf der wir Errata, Beispiele und zusätzliche Informationen auflisten. Du kannst diese Seite unter https://oreil.ly/streaming-data-mesh aufrufen .

Neuigkeiten und Informationen über unsere Bücher und Kurse findest du unter https://oreilly.com.

Finde uns auf LinkedIn: https://linkedin.com/company/oreilly-media

Folge uns auf Twitter: https://twitter.com/oreillymedia

Schau uns auf YouTube: https://youtube.com/oreillymedia

Danksagungen

Wir hätten dieses Buch nicht schreiben können, ohne dass Andy Kwan unseren Vorschlag für das Buch unterstützt hätte. Unser Dank geht auch an unsere Redakteurin Beth Kelly und vor allem an Jeff Bleiel. Jeff war uns eine große Hilfe und wir schätzen alles, was er für uns getan hat, sehr.

Ein besonderer Dank geht an alle Rezensentinnen und Rezensenten, die unzählige Stunden damit verbracht haben, den Inhalt zu prüfen und Verbesserungsvorschläge zu machen. Eure unermüdliche Unterstützung hat maßgeblich dazu beigetragen, dass dieses Buch Wirklichkeit geworden ist. Ralph Matthias Debusmann, der schon früh sein Interesse an unserem Buch gezeigt hat. Ravneet Singh, auch dir vielen Dank für deine Hilfe und Unterstützung. Dr. Ian Buss, immer wieder vielen Dank! Sharon Xie, Decodable kann sich glücklich schätzen, dich zu haben. Eric Sammer, danke für die Erfahrung.

Hubert

Danke an meine Frau Beth und meine Kinder Aster und Nico, die mich unterstützen und mich daran erinnern, dass ich mir Zeit für mich und meine Familie nehmen sollte.

Ich möchte mich ausdrücklich bei allen bedanken, die mich während meiner Zeit bei Cloudera beeinflusst haben. "Baue immer deine Marke auf", Hemal Kanani - ich höre immer noch deine Stimme, wenn ich diesen Satz lese - BOOM! Ben Spivey, der mir immer als Mentor und Freund zur Seite stand. Ian Buss, der mir gezeigt hat, dass Big Data einfach ist. Marlo Carillo und meine Big-Data-Brüder von filip - danke, dass du die RP repräsentierst. Und natürlich die CLDR Illuminati.

Ich möchte auch allen bei Confluent danken, die mit mir zum Börsengang gereist sind und mir die Erfahrungen ermöglicht haben, die ich zum Schreiben dieses Buches brauchte. Dan Elliman, danke, dass du Batman für meinen Robin im Nordosten warst. Eric Langan, danke, dass du eine so großartige und ansteckende Einstellung hast. Paul Earsy, dass er mich durch schlammige Gewässer geführt hat. Für Steve Williams: Warum hast du dich zur Ruhe gesetzt? Du bist immer noch im besten Alter. Jay Kreps für seine Führungsqualitäten. Gwen Shapira für ihren großen Einfluss. Yeva Byzek, Ben Stopford, Adam Bellemare und Travis Hoffman dafür, dass sie schon früh bei Confluent dabei waren, als es um die Vernetzung von Daten ging. Danke, Confluent, für das Sponsoring dieses Buches und für all die anderen klugen Leute dort.

Ich möchte mich auch bei den vielen Menschen bedanken, die mir Feedback gegeben und das Buch mitgestaltet haben: Benjamin Djidi, Ismael Ghalimi, David Yaffe, Hojjat Jafarpour, Yingjun Wu, Zander Matheson, Will Plummer, Ting Wang, Jove Zhong, und Yaniv Ben Hemo.

Stephen

Ich möchte allen, die mich beim Schreiben dieses Buches unterstützt haben, meinen aufrichtigen Dank aussprechen. Mein besonderer Dank gilt den Kolleginnen und Kollegen, die mich durch den Prozess des Schreibens und der Veröffentlichung begleitet haben. Ich bin auch meinen Freunden und meiner Familie dankbar für ihre unermüdliche Liebe und Ermutigung. Außerdem danke ich dem Redaktionsteam von O'Reilly für seine unschätzbaren Ratschläge und Ressourcen. Und schließlich bin ich den vielen Leserinnen und Lesern dankbar, die mich auf dieser Reise immer wieder inspiriert haben. Ich danke euch allen.

Get Streaming Data Mesh now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial