Datenarchitekturen entschlüsseln

Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Ich bin seit fast 40 Jahren in der Informationstechnologie (IT) tätig. Ich habe in Unternehmen aller Größenordnungen gearbeitet, war als Berater tätig und habe mein eigenes Unternehmen gegründet. In den letzten 9 Jahren war ich bei Microsoft als Datenarchitekt tätig und in den letzten 15 Jahren habe ich mich mit Data Warehousing beschäftigt. Ich habe schon tausende Male über Daten gesprochen, vor Kunden und Gruppen.

In meiner Laufbahn habe ich viele Datenarchitekturen kommen und gehen sehen. Ich habe zu viele Unternehmen gesehen, die sich über den besten Ansatz streiten und am Ende die falsche Datenarchitektur aufbauen - ein Fehler, der sie Millionen von Dollar und Monate an Zeit kosten kann und sie weit hinter ihre Konkurrenten zurückwirft.

Darüber hinaus sind Datenarchitekturen komplex. Ich habe aus erster Hand erfahren, dass die meisten Leute die damit verbundenen Konzepte nicht verstehen, wenn sie sie überhaupt kennen. Jeder scheint mit Begriffen wie Data Mesh, Data Warehouse und Data Lakehouseum sich zu werfen - aberwenn du 10 Leute fragst, was ein Data Mesh ist, wirst du 11 verschiedene Antworten bekommen.

Wo soll man überhaupt anfangen? Sind das nur Schlagworte mit viel Hype, aber wenig Substanz, oder sind es praktikable Ansätze? In der Theorie mögen sie toll klingen, aber wie praktisch sind sie? Was sind die Vor- und Nachteile der einzelnen Architekturen?

Keine der in diesem Buch besprochenen Architekturen ist "falsch". Sie haben alle ihre Berechtigung, aber nur in bestimmten Anwendungsfällen. Es gibt keine Architektur, die für jede Situation geeignet ist. In diesem Buch geht es also nicht darum, dich davon zu überzeugen, eine bestimmte Architektur den anderen vorzuziehen. Stattdessen bekommst du ehrliche Meinungen zu den Vor- und Nachteilen der einzelnen Architekturen. Alles hat seine Kompromisse, und es ist wichtig, diese zu verstehen und sich nicht einfach für eine Architektur zu entscheiden, die mehr gehypt wird als die anderen. Außerdem kann man von jeder Architektur viel lernen, auch wenn man sie nicht nutzt. Wenn du zum Beispiel verstehst, wie ein Datennetz funktioniert, kannst du über das Eigentum an den Daten nachdenken - ein Konzept, das auf jede Architektur anwendbar ist.

Dieses Buch bietet eine grundlegende Einführung in gängige Datenarchitekturkonzepte. Es gibt so viele Konzepte, dass es einschüchternd sein kann, sich für eines zu entscheiden und herauszufinden, wie man es umsetzt. Ich möchte dir helfen, all diese Konzepte und Architekturen auf einem hohen Niveau zu verstehen, damit du ein Gefühl für die Optionen bekommst und erkennen kannst, welche für deine Situation am besten geeignet ist. Das Ziel des Buches ist es, dass du intelligent über Datenkonzepte und -architekturen sprechen kannst und dann tiefer in die Lösungen eintauchen kannst, die für die von dir entwickelte Lösung relevant sind.

Es gibt keine Standarddefinitionen für Datenkonzepte und -architekturen. Wenn es sie gäbe, wäre dieses Buch nicht nötig. Meine Hoffnung ist es, Standarddefinitionen zu liefern, die allen helfen, sich auf die gleiche Seite zu stellen, um Diskussionen zu erleichtern. Ich mache mir keine Illusionen darüber, dass meine Definitionen von allen akzeptiert werden, aber ich möchte uns allen einen Ausgangspunkt für Gespräche darüber geben, wie wir diese Definitionen anpassen können.

Ich habe dieses Buch für jeden geschrieben, der Interesse daran hat, aus Daten einen Nutzen zu ziehen, egal ob du Datenbankentwickler oder -administrator, Datenarchitekt, CTO oder CIO oder sogar jemand in einer Rolle außerhalb der IT bist. Du kannst am Anfang deiner Karriere stehen oder ein erfahrener Veteran sein. Die einzigen Fähigkeiten, die du brauchst, sind ein wenig Vertrautheit mit Daten aus deiner Arbeit und ein Sinn für Neugierde.

Für Leser, die weniger Erfahrung mit diesen Themen haben, biete ich einen Überblick über Big Data(Kapitel 1) und Datenarchitekturen(Kapitel 2) sowie über grundlegende Datenkonzepte(Teil II). Wenn du schon eine Weile mit Daten zu tun hast, aber neue Architekturen verstehen musst, könnte dir Teil III von großem Nutzen sein, in dem ich auf die Details bestimmter Datenarchitekturen eingehe und einige der Grundlagen wiederhole. Du kannst die Abschnitte, die du bereits gut kennst, ruhig überspringen. Beachte auch, dass der Schwerpunkt zwar auf Big Data liegt, die Konzepte und Architekturen aber auch dann gelten, wenn du "kleine" Daten hast.

Dieses Buch ist herstellerunabhängig. Du solltest in der Lage sein, die Architekturen und Konzepte, die du hier lernst, bei jedem Cloud-Provider anzuwenden. Ich möchte an dieser Stelle auch erwähnen, dass ich bei Microsoft beschäftigt bin. Die hier geäußerten Meinungen sind jedoch allein meine und spiegeln nicht die Ansichten meines Arbeitgebers wider.

Ich habe dieses Buch geschrieben, weil ich eine angeborene Neugierde habe, die mich dazu antreibt, Dinge zu verstehen und sie dann so weiterzugeben, dass sie jeder verstehen kann. Dieses Buch ist die Krönung meines Lebenswerkes. Ich hoffe, du findest es wertvoll.

In diesem Buch verwendete Konventionen

In diesem Buch werden die folgenden typografischen Konventionen verwendet:

Kursiv

Weist auf neue Begriffe, URLs, E-Mail-Adressen, Dateinamen und Dateierweiterungen hin.

Constant width

Wird für Programmlistings sowie innerhalb von Absätzen verwendet, um auf Programmelemente wie Variablen- oder Funktionsnamen, Datenbanken, Datentypen, Umgebungsvariablen, Anweisungen und Schlüsselwörter hinzuweisen.

Tipp

Dieses Element steht für einen Tipp oder eine Anregung.

Hinweis

Dieses Element steht für einen allgemeinen Hinweis.

O'Reilly Online Learning

Hinweis

Seit mehr als 40 Jahren bietet O'Reilly Media Schulungen, Wissen und Einblicke in Technologie und Wirtschaft, um Unternehmen zum Erfolg zu verhelfen.

Unser einzigartiges Netzwerk von Experten und Innovatoren teilt sein Wissen und seine Erfahrung durch Bücher, Artikel und unsere Online-Lernplattform. Die Online-Lernplattform von O'Reilly bietet dir On-Demand-Zugang zu Live-Trainingskursen, ausführlichen Lernpfaden, interaktiven Programmierumgebungen und einer umfangreichen Text- und Videosammlung von O'Reilly und über 200 anderen Verlagen. Weitere Informationen erhältst du unter https://oreilly.com.

Wie du uns kontaktierst

Bitte richte Kommentare und Fragen zu diesem Buch an den Verlag:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Nord
• Sebastopol, CA 95472
• 800-889-8969 (in den Vereinigten Staaten oder Kanada)
• 707-827-7019 (international oder lokal)
• 707-829-0104 (Fax)
• [e-mail]
• https://www.oreilly.com/about/contact.html

Wir haben eine Webseite für dieses Buch, auf der wir Errata, Beispiele und zusätzliche Informationen auflisten. Du kannst diese Seite unter https://oreil.ly/deciphering-data-architectures aufrufen .

Neuigkeiten und Informationen über unsere Bücher und Kurse findest du unter https://oreilly.com.

Du findest uns auf LinkedIn: https://linkedin.com/company/oreilly-media.

Sieh uns auf YouTube: https://youtube.com/oreillymedia.

Danksagungen

Dieses Buch wäre ohne die unermüdliche Unterstützung und Geduld meiner Frau Mary nicht möglich gewesen. Sie hat mich in den langen Nächten des Schreibens ermutigt, auch wenn das bedeutete, dass ich das Kartenspiel mit Familie und Freunden verpassen musste. Ihre Anwesenheit war eine ständige Quelle des Trostes und der Motivation.

Meine Reise wurde durch die Unterstützung meiner Familie bereichert: meine Eltern Jim und Lorraine, meine Schwestern Denise, Michele und Nicole und meine inzwischen erwachsenen Kinder Lauren, RaeAnn und James, die eine Quelle der Inspiration waren, obwohl sie keine Ahnung hatten, worum es in dem Buch geht!

Ein herzliches Dankeschön geht an meine Mentoren und Kollegen aus meinen Jahren bei Microsoft. Menschen wie Steve Busby, Eduardo Kassner und Martin Lee haben meine Karriere mitgestaltet und ihre Weisheiten oft auf diesen Seiten veröffentlicht.

Unser Dank gilt denjenigen, die uns ihr kritisches Auge und konstruktives Feedback gegeben haben, insbesondere Piethein Strengholt, Barry Devlin, Bill Inmon und Mike Shelton. Ihre Einsichten waren von unschätzbarem Wert.

Besonders dankbar bin ich Sean McCall, nicht nur dafür, dass er mich vor vielen Jahren in die Welt des Data Warehousing eingeführt hat, sondern auch dafür, dass er ein treuer Freund ist und sich bereit erklärt hat, das Vorwort für dieses Buch zu schreiben.

Schließlich möchte ich all den fantastischen Menschen bei O'Reilly danken, die dieses Buch möglich gemacht haben: Sarah Grey, deren großartiges Lektorat und Vorschläge dieses Buch so viel besser machen, als wenn ich es alleine gemacht hätte; Aaron Black, der mir geholfen hat, die Buchzusammenfassung zu erstellen und sie genehmigen zu lassen; Paula Fleming für ihr hervorragendes Lektorat; Katie Tozer, die die Produktion des Buches geleitet hat; Kristen Brown, die dafür gesorgt hat, dass alles reibungslos läuft; und Suzanne Huston für ihre wunderbare Vermarktung des Buches.

Ich möchte Ihnen, den Leserinnen und Lesern, meine tiefe Dankbarkeit ausdrücken, denn Ihr Interesse und Ihr Engagement für diese Arbeit machen die unzähligen Stunden des Schreibens nicht nur lohnenswert, sondern auch sehr erfüllend.

Während ich dieses Kapitel meines Lebens abschließe und mich auf die neuen Horizonte freue, die vor mir liegen, bin ich zutiefst dankbar für die Reise, auf die mich dieses Buch geführt hat, und für die unglaublichen Menschen, die ein Teil davon waren.