Guida allo studio per AWS Certified Data Engineer Associate
by Sakti Mishra, Dylan Qu, Anusha Challa
Capitolo 8. Implementazione di pipeline Batch e Streaming
Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com
Nei capitoli precedenti abbiamo fornito una panoramica dei servizi di analisi dei dati di AWS e abbiamo spiegato come progettare una pipeline di ingestione dei dati, applicare trasformazioni, gestire archivi di dati, implementare la sicurezza e la governance e raggiungere l'efficienza operativa per i carichi di lavoro di analisi.
In questo capitolo ti forniremo una guida pratica all'implementazione di casi d'uso popolari per le pipeline batch e streaming. Prima di iniziare, assicurati di aver creato un account AWS e di aver configurato i permessi IAM come descritto nel capitolo 2.
Pipeline di elaborazione dati
Una pipeline di elaborazione dei dati è una sequenza di passaggi per raffinare e trasformare i dati e renderli disponibili in un formato che possa essere consumato dagli utenti finali per le analisi. I casi d'uso per i quali i dati devono essere trasformati possono essere i seguenti:
Pulire i dati e migliorarne la qualità
Trasformare i dati aggregandoli con set di dati interni e applicando regole aziendali specifiche.
Formattare i dati per l'analisi delle serie temporali o prepararli per lo sviluppo di modelli di apprendimento automatico.
Creare un modello di dati specifico per un'analisi più rapida dei dati o per la creazione di reportistica BI.
Rendere i dati disponibili in ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access