Modelli di progettazione dell'ingegneria dei dati

Capitolo 2. Modelli di progettazione per l'ingestione dei dati

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

I sistemi di ingegneria dati sono raramente dei generatori di dati. Più spesso, la loro prima fase è l'acquisizione di dati da vari produttori di dati. Lavorare con questi produttori non è facile: possono essere pipeline diverse all'interno del tuo team, team diversi all'interno della tua azienda o addirittura organizzazioni completamente diverse. Poiché ogni produttore ha vincoli specifici ereditati da ambienti tecnici e aziendali, interagire con loro può essere una sfida per te.

Ma non hai scelta. Devi adattarti. Altrimenti non otterrai alcun dato e, di conseguenza, non potrai alimentare i tuoi carichi di lavoro di data analytics o data science. O peggio ancora, otterrai dei dati, li condividerai con i tuoi utenti a valle e qualche giorno dopo riceverai delle lamentele. Potrebbero riguardare un set di dati incompleto, un'organizzazione dei dati inefficiente o dati completamente danneggiati che richiedono processi interni di ripristino e backfilling.

Come puoi vedere, l'inserimento dei dati nel tuo sistema è un compito fondamentale per migliorare la tua vita e quella dei tuoi utenti. Per questo motivo, questo libro deve iniziare con i modelli di progettazione dell'ingestione dei dati.

I modelli presentati in questo capitolo affrontano gli scenari e le sfide che potresti incontrare ...