Entwurfsmuster für das Data Engineering

Datenprojekte sind ein wichtiger Teil des technischen Ökosystems einer Organisation, aber viele Dateningenieure in Unternehmen arbeiten immer noch an Problemen, die andere schon gelöst haben. Dieser praktische Leitfaden zeigt dir, wie du wertvolle Daten bereitstellen kannst, indem du dich auf verschiedene Aspekte des Datenengineerings konzentrierst, darunter Datenaufnahme, Datenqualität, Idempotenz und mehr.

Der Autor Bartosz Konieczny führt dich durch den Prozess der Erstellung zuverlässiger End-to-End-Datenengineering-Projekte, von der Datenerfassung bis zur Datenbeobachtbarkeit, wobei der Schwerpunkt auf Datenengineering-Entwurfsmustern liegt, die häufige Geschäftsprobleme auf sichere und speicheroptimierte Weise lösen. Jedes Muster enthält eine benutzerorientierte Beschreibung des Problems, Lösungen und Konsequenzen, die das Muster in den Kontext realer Szenarien stellen.

Während dieser Reise wirst du Open-Source-Datentools und öffentliche Cloud-Dienste nutzen, um jedes Muster anzuwenden. Du lernst:

• Herausforderungen, denen Dateningenieure gegenüberstehen, und deren Auswirkungen auf Datensysteme
• Wie diese Herausforderungen mit den Komponenten von Datensystemen zusammenhängen
• Nützliche Anwendungen von Datenengineering-Mustern
• Wie du Probleme mit deinen aktuellen Datenkomponenten erkennst und behebst
• Technologieunabhängige Lösungen für neue und bestehende Datenprojekte mit Open-Source-Implementierungsbeispielen

Bartosz Konieczny ist freiberuflicher Dateningenieur und programmiert seit 2010. Er hatte verschiedene leitende Positionen inne, in denen er sich mit vielen Problemen des Datenengineerings in der Batch- und Stream-Verarbeitung befassen konnte.