Entwurfsmuster für das Data Engineering

Anhang. Zusammenfassung der Patterns

Es ist unwahrscheinlich, dass du mit allen Mustern auf einmal arbeiten wirst. Du wirst im Laufe deiner Data-Engineering-Reise immer wieder mit verschiedenen Mustern konfrontiert werden, also musst du sie nicht alle auswendig lernen. Stattdessen solltest du in der Lage sein, sie leicht zu finden und an das Problem anzupassen, mit dem du gerade konfrontiert bist.

Um dir diese Aufgabe zu erleichtern, findest du hier eine Zusammenfassung der im Buch vorgestellten Entwurfsmuster mit einer kurzen Erinnerung an ihre wichtigsten Anwendungsfälle und Fallstricke.

Entwurfsmuster für die Datenübernahme

Name des Musters	Anwendungsfall	Gotchas
Volllader	Vollständigen Datensatz laden	Steigendes Datenvolumen für wachsende Datenmengen Datenkonsistenz während des Ladevorgangs
Inkrementeller Lader	Chunks eines Datensatzes laden	Laden physisch gelöschter Zeilen Volumen der geladenen Daten während eines Backfillings
Datenerfassung ändern	Laden von Teilen eines Datensatzes, wenn sie kommen	Komplexität der Einrichtung (Datenbankschicht) Ändert den Umfang, insgesamt oder nur nach der Einrichtung Daten bleiben in Ruhe
Passthrough-Replikator	Repliziere einen Datensatz, ohne Informationen zu verändern	Nebeneffekte der Serialisierung, wie schlecht formatierte Daten Isolierung von Produktionsmitteln PII-Daten Auswirkungen auf die Latenzzeit bei Automatisierung über die Infrastruktur Metadaten zum Replizieren, falls relevant
Transformations-Replikator ...