Entwurfsmuster für das Data Engineering

Kapitel 4. Idempotenz-Entwurfsmuster

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Jede Data-Engineering-Aktivität führt irgendwann zu Fehlern - das weißt du bereits aus dem vorherigen Kapitel. Zum Glück lassen sich die meisten dieser Probleme durch korrekt implementierte Entwurfsmuster für das Fehlermanagement lösen. Ja, du hast richtig gelesen: die meisten, nicht alle. Aber warum?

Schauen wir uns ein Beispiel für eine automatische Wiederherstellung nach einem vorübergehenden Ausfall an. Aus technischer Sicht ist das eine tolle Funktion, da du nichts weiter tun musst, als die Anzahl der Wiederholungsversuche zu konfigurieren. Aus der Datenperspektive stellt diese großartige Funktion jedoch eine ernsthafte Herausforderung für die Konsistenz dar. Eine wiederholte Aufgabe oder ein wiederholter Auftrag könnte bereits erfolgreiche Schreibvorgänge im Zieldatenspeicher wiederholen, was im besten Fall zu Duplikaten führt. Du hast richtig gelesen: Duplizierung ist das beste Szenario, weil Duplikate auf der Seite des Konsumenten entfernt werden können. Aber stellen wir uns mal das Gegenteil vor. Der wiederholte Versuch erzeugt Duplikate, die nicht entfernt werden können, weil man nicht einmal erkennen kann, dass es sich um dieselben Daten handelt! Willkommen in deinem Alptraum und einer schlechten Publicity für deinen Datensatz.

Wir hoffen, dass du diese Probleme mit den in diesem Kapitel vorgestellten ...