Modelli di progettazione dell'ingegneria dei dati

I progetti sui dati sono una parte importante dell'ecosistema tecnico di un'azienda, ma in molte aziende i data engineer continuano a lavorare su problemi che altri hanno già risolto. Questa guida pratica ti mostra come fornire dati utili concentrandoti su vari aspetti dell'ingegneria dei dati, tra cui l'acquisizione dei dati, la qualità dei dati, l'idempotenza e altro ancora.

L'autore Bartosz Konieczny ti guida attraverso il processo di creazione di progetti di ingegneria dei dati end-to-end affidabili, dall'acquisizione dei dati all'osservabilità dei dati, concentrandosi su modelli di progettazione dell'ingegneria dei dati che risolvono problemi aziendali comuni in modo sicuro e ottimizzato per l'archiviazione. Ogni modello include una descrizione del problema rivolta all'utente, le soluzioni e le conseguenze che collocano il modello nel contesto di scenari reali.

Durante questo percorso, userai strumenti di dati open source e servizi cloud pubblici per applicare ogni modello. Imparerai:

• Le sfide che i data engineer devono affrontare e il loro impatto sui sistemi di dati
• Come queste sfide si collegano ai componenti dei sistemi di dati
• Applicazioni utili dei modelli di ingegneria dei dati
• Come identificare e risolvere i problemi con i tuoi attuali componenti di dati
• Soluzioni indipendenti dalla tecnologia per progetti di dati nuovi ed esistenti, con esempi di implementazione open source

Bartosz Konieczny è un ingegnere dei dati freelance che si occupa di programmazione dal 2010. Ha ricoperto diversi ruoli senior che gli hanno permesso di lavorare su molti problemi di ingegneria dei dati nell'elaborazione batch e in streaming.