Decifrare le architetture dei dati

Capitolo 12. Il lago dei dati

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Ho parlato brevemente del data lakehouse come armonizzazione dei concetti di data lake e data warehouse. L'idea alla base di un data lakehouse è quella di semplificare le cose utilizzando solo un data lake per archiviare tutti i tuoi dati, invece di avere un data warehouse relazionale separato. Per fare questo, il data lake ha bisogno di più funzionalità per sostituire le caratteristiche di un RDW. È qui che entra in gioco Delta Lake di Databricks.

Delta Lake è un livello software di archiviazione transazionale che viene eseguito sopra un data lake esistente e aggiunge funzionalità simili a RDW che migliorano l'affidabilità, la sicurezza e le prestazioni del lago. Delta Lake in sé non è uno storage. Nella maggior parte dei casi, è facile trasformare un data lake in un Delta Lake; tutto ciò che devi fare è specificare, al momento dell'archiviazione dei dati nel tuo data lake, che vuoi salvarli in formato Delta Lake (invece che in altri formati, come CSV o JSON).

Dietro le quinte, quando archivi un file in formato Delta Lake, questo viene memorizzato in un modo specifico, che consiste in file Parquet in cartelle e in un registro delle transazioni per tenere traccia di tutte le modifiche apportate ai dati. Mentre i dati veri e propri si trovano nel tuo data lake in un formato simile a quello a cui sei abituato, il ...