Die Überwachung der Datenqualität automatisieren

Kapitel 2. Strategien zur Überwachung der Datenqualität und die Rolle der Automatisierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Es gibt viele verschiedene Möglichkeiten, wie du die Datenqualität überwachen kannst. Bevor du die verschiedenen Möglichkeiten abwägst, ist es hilfreich, sich Gedanken darüber zu machen, wie Erfolg aussieht. In diesem Kapitel definieren wir die Voraussetzungen für Erfolg. Dann gehen wir die traditionellen Strategien durch - manuelle Prüfungen, regelbasierte Tests und die Überwachung von Kennzahlen - und sehen, wie sie abschneiden.

Als Nächstes befassen wir uns mit der Idee, die Überwachung der Datenqualität zu automatisieren. Wir erklären, wie unüberwachtes maschinelles Lernen uns dabei helfen kann, einige fehlende Aspekte unserer Erfolgskriterien zu erfüllen, die Überwachung auf große Datenmengen zu skalieren und gleichzeitig die Alarmmüdigkeit zu verringern.

Abschließend stellen wir die Strategie zur Überwachung der Datenqualität vor, für die wir in diesem Buch plädieren: ein Vier-Säulen-Ansatz, der Datenbeobachtung, regelbasiertes Testen, Überwachung von Metriken und unüberwachtes maschinelles Lernen kombiniert. Wie wir zeigen werden, hat dieser Ansatz viele Vorteile. Er ermöglicht es Fachexperten (SMEs), wichtige Einschränkungen durchzusetzen und die wichtigsten Leistungsindikatoren (KPIs) für wichtige Tabellen zu verfolgen - und das alles bei einer grundlegenden ...