Decifrar as arquitecturas de dados

Capítulo 12. Armazenamento de dados

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Falei brevemente sobre o data lakehouse como uma harmonização dos conceitos de data lake e data warehouse. A ideia subjacente a um data lakehouse é simplificar as coisas, utilizando apenas um data lake para armazenar todos os dados, em vez de ter também um armazém de dados relacional separado. Para tal, o lago de dados precisa de mais funcionalidades para substituir as caraterísticas de um RDW. É aí que entra em ação o Delta Lake da Databricks.

Delta Lake é uma camada de software de armazenamento transacional que é executada em cima de um lago de dados existente e adiciona funcionalidades semelhantes a RDW que melhoram a fiabilidade, a segurança e o desempenho do lago. O Delta Lake em si não é armazenamento. Na maioria dos casos, é fácil transformar um lago de dados em um Delta Lake; tudo o que precisas fazer é especificar, quando estiveres a armazenar dados no teu lago de dados, que queres guardá-los no formato Delta Lake (em oposição a outros formatos, como CSV ou JSON).

Nos bastidores, quando armazenas um ficheiro utilizando o formato Delta Lake, este é armazenado da sua própria forma especializada, que consiste em ficheiros Parquet em pastas e um registo de transacções para acompanhar todas as alterações efectuadas aos dados. Embora os dados reais estejam no teu lago de dados num formato semelhante ao que estás habituado, ...