Modelli di progettazione dell'ingegneria dei dati

Capitolo 10. Modelli di progettazione dell'osservabilità dei dati

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

I modelli di progettazione della qualità dei dati di del capitolo precedente sono fondamentali per garantire la rilevanza dei tuoi set di dati. Tuttavia, poiché si concentrano principalmente sui dati stessi, affidarsi solo a soluzioni di qualità dei dati non sarà sufficiente per avere il controllo end-to-end del tuo stack di ingegneria dei dati.

Vediamo un esempio per capire meglio. Lo schema Audit-Write-Audit-Publish (AWAP) è un ottimo meccanismo di protezione contro l'elaborazione di dati di scarsa qualità. Purtroppo, anche se il tuo lavoro AWAP rileva perfettamente tutti i problemi, potresti comunque trovarti nei guai. Un esempio di ciò si verifica quando il lavoro AWAP non viene eseguito a causa di un'interruzione del flusso a monte e tu non ne sei a conoscenza.

C'è però una buona notizia: i modelli di progettazione dell'osservabilità dei dati di questo capitolo colmano le lacune lasciate dalle loro controparti sulla qualità dei dati, aggiungendo al sistema funzionalità di monitoraggio e di allerta. Per affrontare questi problemi aggiuntivi, le soluzioni dei modelli di osservabilità si basano su due pilastri: il rilevamento e il monitoraggio.

I design pattern di rilevamento individuano qualsiasi problema relativo ai dati o al tempo. Sarebbero ottimi per gestire il problema ...