book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 43m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é uma arquitetura de medalhão?Uma breve história da arquitetura do Data WarehouseSistemas OLTPArmazéns de dadosA zona de preparaçãoMetodologia InmonMetodologia KimballPrincipais conclusões dos armazéns de dados tradicionaisUma breve história dos lagos de dadosSistema de ficheiros distribuído do HadoopMapReduceApache HiveProjeto SparkAvança com os Data LakesUma breve história da arquitetura das casas do lagoFundadores da SparkEmergência de formatos de mesa abertaA ascensão das arquitecturas de lagosA arquitetura do medalhão e os seus desafios práticosConclusão
Condições prévias fundamentaisZonas de aterragem extraDados brutosProcessamento em loteProcessamento de dados em tempo realSpark Structured StreamingAltera o feed de dadosAltera a captura de dadosConsiderações e recursos de aprendizagemFerramentas ETL e de orquestraçãoGerir tabelas deltaEncomenda ZEncomenda VParticionamento de tabelasClusterização líquidaCompactação e gravações otimizadasDeltaLogConclusão
O design de três camadasCamada de bronzeHierarquia de processamentoProcessamento de cargas de dados completasProcessamento de cargas de dados incrementaisHistorização de dados na camada de bronzeEvolução e gestão de esquemasMergeSchema e Schema EnforcementControlos de validação técnicaUtilização e governaçãoA camada de bronze na práticaCamada de prataAtividades de limpeza de dadosConceber o modelo de dados da Silver LayerHarmonização com outras fontes3NF e Data VaultConsulta operacional e aprendizagem automáticaGerir a sobreposição de necessidadesTarefas de automatizaçãoA camada de prata na práticaCamada de ouroEsquema estrelaNuances do design do esquema em estrelaCamadas de curadoria, semântica e platinaDesign de uma mesa grandeCamada de servirA camada de ouro na práticaConclusão
O nosso caso de estudo: Oceanic AirlinesApresentando o Microsoft FabricDomíniosEspaços de trabalho e capacidadesOneLakeEngenharia de dados com SparkArmazenamento de dados com T-SQLOutros tipos de carga de trabalho de tecidoCriar a fundaçãoDefinição de capacidadesConfigurar domíniosConfigurar espaços de trabalhoCriar casas de lagoConsiderações sobre a capacidadeConsiderações sobre o domínioConsiderações sobre o espaço de trabalhoConsiderações sobre entidades de lagosConsiderações sobre a conta de armazenamentoConclusão
Criar o pipeline de dadosImplantação do banco de dados de amostra do AdventureWorksConfigura uma ligação à base de dados SQL do AzureCriar um novo pipeline de dadosConsiderações adicionaisImplementação de tabelas de lagosPercorre ficheiros Parquet para tabelas Delta geridasUtilização de tabelas externasAtualização de tabelas com operações MERGESpark Structured StreamingUtilização da captura de dados de modificaçãoNavegação em técnicas de tratamento de dadosGestão de esquemasCria tabelas sem definir esquemasDefine esquemas com a API DataFrameDeclarações SQL DDLConfigurações YAML ou JSONAbordagem orientada por metadadosCarregador automático DatabricksFerramentas de terceirosManipulação da evolução do esquemaConclusão
Recapitulação rápidaImplementação de uma abordagem baseada em metadadosImplementação do armazenamento de metadadosImplementação de validações dinâmicas de dadosÁreas de melhoriaLimpeza de dadosImplementação de tarefas de limpeza de dadosConsiderações sobre a limpeza de dadosEstruturas de transformação de dados e ferramentas de qualidade de dadosOtimização do desempenho da consulta com desnormalizaçãoEnriquecimentos levesHistorização de dadosEmpregos de otimizaçãoOrquestração com o Apache AirFlowRecomendações finaisDados da Silver-Layer como um produtoConclusão

Conceção da camada de ouroTransforma dados usando um esquema em estrelaCriação do modelo semânticoCriação do primeiro relatório do Power BICriação de fluxos de tarefasMelhorias no design da camada de ouroMicrosoft Fabric na práticaProdutos de dadosGovernação de dados com o Microsoft PurviewConsiderações sobre o design do Microsoft PurviewOrientações para arquitecturas de medalhõesConclusão
Arquitetura MedalhãoOutras consideraçõesRecomendações finais
Arquitetura MedalhãoFinOpsModelos de dadosContratos de dadosGovernação de dados
Evolução da plataforma de dadosArquitetura MedalhãoProdutos e partilha de dadosRecomendações e boas práticas
Descentralização da gestão de dadosFlexibilidade na FederaçãoMalha medalhãoNúmero de arquitecturas de medalhõesVariações da arquitetura interior do medalhãoSepara as camadas de produtos de dadosArquitecturas de medalhões à medidaAdaptabilidade da camada de bronzeVariações da camada de prataVariações da camada douradaModelos de dados empresariaisGestão de dados mestreGestão de dados de referênciaConclusão
Governação de dadosGovernação no âmbito de uma arquitetura de medalhãoCatálogo UnityArquitetura Medallion com o Catálogo UnityContratos de dadosContratos dentro de um catálogoContratos dentro de um MetastoreContratos de dados usando arquivos YAML e GitOpsOutros dados Especificações do contratoSegurança de dados e gestão de acessosConclusão
Processamento de dados não estruturadosGeração aumentada por recuperaçãoCamada de bronzeCamada de prataCamada de ouroIntegração de LLMs e arquitecturas MedallionPapel dos agentesFormação e aperfeiçoamento dos LLMsFuturo das arquitecturas de medalhõesConclusão

Content preview from Construir arquitecturas Medallion

Capítulo 7. Simplifica a camada dourada

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

No Capítulo 5, construímos a camada Bronze, abordando o desafio de criar uma estrutura consultável apesar da diversidade e complexidade dos sistemas de origem. Salientei a importância da estabilidade e da fiabilidade nesta camada fundamental. Passando para o Capítulo 6, a nossa atenção deslocou-se para a camada Prata, para melhorar a qualidade dos dados e estabelecer uma estrutura robusta de processamento de dados. Aprendeste a adaptar o design da camada Silver para satisfazer necessidades organizacionais específicas, adaptadas a diferentes requisitos de processamento. Terminámos a nossa discussão com conjuntos de dados que foram completamente refinados e validados, preparando o terreno para os passos seguintes.

Neste capítulo, continuaremos o exercício mergulhando nas especificidades da conceção da camada Gold - a fase final e mais detalhada da nossa arquitetura Medallion. Essa camada é fundamental para a tomada de decisões e a geração de relatórios. É a coroa do refinamento de dados, concebida para otimizar os dados para consultas e análises de elevado desempenho. Desempenha um papel crucial no apoio a funções empresariais críticas.

Utilizarás uma abordagem semelhante à que utilizámos para as camadas anteriores e descobrirás que as competências que adquiriste se traduzirão no contexto da camada Gold. Isso permite que ...