Capítulo 6. Constrói a camada de prata
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
No capítulo 5, foram exploradas a conceção e a configuração fundamentais da camada Bronze na arquitetura Medallion, com base na arquitetura de referência da Oceanic Airlines. A implantação e a configuração foram examinadas, enriquecendo a compreensão com vários trechos de código e exemplos. Aprendeste que a criação de uma camada Bronze consultável apresenta desafios significativos devido à natureza complexa e em constante evolução dos sistemas de origem.
Este capítulo baseia-se nesse fundamento, avançando para a construção da camada Silver, o nível subsequente na arquitetura Medallion, onde o objetivo é refinar, limpar e normalizar os dados. Exploraremos várias áreas críticas na seguinte ordem:
-
Garantir a integridade dos dados através de uma abordagem orientada para os metadados
-
Limpa os dados para melhorar a qualidade
-
Transforma os dados num modelo desnormalizado para facilitar o acesso
-
Enriquecimento de dados, potencialmente através da incorporação da gestão de dados principais
-
Implementar o histórico de dados para acompanhar as alterações ao longo do tempo
-
Concentra-te nos trabalhos de otimização
-
Orquestração de pipelines de dados com o Airflow para automatizar o processamento de ponta a ponta
Tal como no Capítulo 5, este capítulo guia-te através de passos essenciais de configuração e práticas de codificação. ...