Construir arquitecturas Medallion

Capítulo 6. Constrói a camada de prata

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No capítulo 5, foram exploradas a conceção e a configuração fundamentais da camada Bronze na arquitetura Medallion, com base na arquitetura de referência da Oceanic Airlines. A implantação e a configuração foram examinadas, enriquecendo a compreensão com vários trechos de código e exemplos. Aprendeste que a criação de uma camada Bronze consultável apresenta desafios significativos devido à natureza complexa e em constante evolução dos sistemas de origem.

Este capítulo baseia-se nesse fundamento, avançando para a construção da camada Silver, o nível subsequente na arquitetura Medallion, onde o objetivo é refinar, limpar e normalizar os dados. Exploraremos várias áreas críticas na seguinte ordem:

• Garantir a integridade dos dados através de uma abordagem orientada para os metadados

• Limpa os dados para melhorar a qualidade

• Transforma os dados num modelo desnormalizado para facilitar o acesso

• Enriquecimento de dados, potencialmente através da incorporação da gestão de dados principais

• Implementar o histórico de dados para acompanhar as alterações ao longo do tempo

• Concentra-te nos trabalhos de otimização

• Orquestração de pipelines de dados com o Airflow para automatizar o processamento de ponta a ponta

Tal como no Capítulo 5, este capítulo guia-te através de passos essenciais de configuração e práticas de codificação. ...