Fondamenti di ingegneria dei dati

Capitolo 7. Ingestione

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Hai imparato a conoscere i vari sistemi di origine che probabilmente incontrerai come data engineer e le modalità di archiviazione dei dati. Ora passiamo ai modelli e alle scelte che si applicano all'ingestione dei dati da vari sistemi di origine. In questo capitolo parliamo dell'ingestione dei dati (vedi Figura 7-1), delle principali considerazioni ingegneristiche per la fase di ingestione, dei principali modelli di ingestione batch e streaming, delle tecnologie che incontrerai, delle persone con cui lavorerai durante lo sviluppo della tua pipeline di ingestione dei dati e di come le correnti sotterranee siano presenti nella fase di ingestione.

Figura 7-1. Per iniziare l'elaborazione dei dati, dobbiamo ingerirli

Che cos'è l'ingestione dei dati?

L'ingestione dei dati è il processo di spostamento dei dati da un luogo all'altro. L'ingestione dei dati implica il movimento dei dati dai sistemi di origine all'archiviazione nel ciclo di vita dell'ingegneria dei dati, con l'ingestione come fase intermedia(Figura 7-2).

Figura 7-2. I dati del sistema 1 vengono inseriti nel sistema 2

Vale la pena di fare una rapida contrapposizione ...