book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 43m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é uma arquitetura de medalhão?Uma breve história da arquitetura do Data WarehouseSistemas OLTPArmazéns de dadosA zona de preparaçãoMetodologia InmonMetodologia KimballPrincipais conclusões dos armazéns de dados tradicionaisUma breve história dos lagos de dadosSistema de ficheiros distribuído do HadoopMapReduceApache HiveProjeto SparkAvança com os Data LakesUma breve história da arquitetura das casas do lagoFundadores da SparkEmergência de formatos de mesa abertaA ascensão das arquitecturas de lagosA arquitetura do medalhão e os seus desafios práticosConclusão
Condições prévias fundamentaisZonas de aterragem extraDados brutosProcessamento em loteProcessamento de dados em tempo realSpark Structured StreamingAltera o feed de dadosAltera a captura de dadosConsiderações e recursos de aprendizagemFerramentas ETL e de orquestraçãoGerir tabelas deltaEncomenda ZEncomenda VParticionamento de tabelasClusterização líquidaCompactação e gravações otimizadasDeltaLogConclusão
O design de três camadasCamada de bronzeHierarquia de processamentoProcessamento de cargas de dados completasProcessamento de cargas de dados incrementaisHistorização de dados na camada de bronzeEvolução e gestão de esquemasMergeSchema e Schema EnforcementControlos de validação técnicaUtilização e governaçãoA camada de bronze na práticaCamada de prataAtividades de limpeza de dadosConceber o modelo de dados da Silver LayerHarmonização com outras fontes3NF e Data VaultConsulta operacional e aprendizagem automáticaGerir a sobreposição de necessidadesTarefas de automatizaçãoA camada de prata na práticaCamada de ouroEsquema estrelaNuances do design do esquema em estrelaCamadas de curadoria, semântica e platinaDesign de uma mesa grandeCamada de servirA camada de ouro na práticaConclusão
O nosso caso de estudo: Oceanic AirlinesApresentando o Microsoft FabricDomíniosEspaços de trabalho e capacidadesOneLakeEngenharia de dados com SparkArmazenamento de dados com T-SQLOutros tipos de carga de trabalho de tecidoCriar a fundaçãoDefinição de capacidadesConfigurar domíniosConfigurar espaços de trabalhoCriar casas de lagoConsiderações sobre a capacidadeConsiderações sobre o domínioConsiderações sobre o espaço de trabalhoConsiderações sobre entidades de lagosConsiderações sobre a conta de armazenamentoConclusão
Criar o pipeline de dadosImplantação do banco de dados de amostra do AdventureWorksConfigura uma ligação à base de dados SQL do AzureCriar um novo pipeline de dadosConsiderações adicionaisImplementação de tabelas de lagosPercorre ficheiros Parquet para tabelas Delta geridasUtilização de tabelas externasAtualização de tabelas com operações MERGESpark Structured StreamingUtilização da captura de dados de modificaçãoNavegação em técnicas de tratamento de dadosGestão de esquemasCria tabelas sem definir esquemasDefine esquemas com a API DataFrameDeclarações SQL DDLConfigurações YAML ou JSONAbordagem orientada por metadadosCarregador automático DatabricksFerramentas de terceirosManipulação da evolução do esquemaConclusão
Recapitulação rápidaImplementação de uma abordagem baseada em metadadosImplementação do armazenamento de metadadosImplementação de validações dinâmicas de dadosÁreas de melhoriaLimpeza de dadosImplementação de tarefas de limpeza de dadosConsiderações sobre a limpeza de dadosEstruturas de transformação de dados e ferramentas de qualidade de dadosOtimização do desempenho da consulta com desnormalizaçãoEnriquecimentos levesHistorização de dadosEmpregos de otimizaçãoOrquestração com o Apache AirFlowRecomendações finaisDados da Silver-Layer como um produtoConclusão

Conceção da camada de ouroTransforma dados usando um esquema em estrelaCriação do modelo semânticoCriação do primeiro relatório do Power BICriação de fluxos de tarefasMelhorias no design da camada de ouroMicrosoft Fabric na práticaProdutos de dadosGovernação de dados com o Microsoft PurviewConsiderações sobre o design do Microsoft PurviewOrientações para arquitecturas de medalhõesConclusão
Arquitetura MedalhãoOutras consideraçõesRecomendações finais
Arquitetura MedalhãoFinOpsModelos de dadosContratos de dadosGovernação de dados
Evolução da plataforma de dadosArquitetura MedalhãoProdutos e partilha de dadosRecomendações e boas práticas
Descentralização da gestão de dadosFlexibilidade na FederaçãoMalha medalhãoNúmero de arquitecturas de medalhõesVariações da arquitetura interior do medalhãoSepara as camadas de produtos de dadosArquitecturas de medalhões à medidaAdaptabilidade da camada de bronzeVariações da camada de prataVariações da camada douradaModelos de dados empresariaisGestão de dados mestreGestão de dados de referênciaConclusão
Governação de dadosGovernação no âmbito de uma arquitetura de medalhãoCatálogo UnityArquitetura Medallion com o Catálogo UnityContratos de dadosContratos dentro de um catálogoContratos dentro de um MetastoreContratos de dados usando arquivos YAML e GitOpsOutros dados Especificações do contratoSegurança de dados e gestão de acessosConclusão
Processamento de dados não estruturadosGeração aumentada por recuperaçãoCamada de bronzeCamada de prataCamada de ouroIntegração de LLMs e arquitecturas MedallionPapel dos agentesFormação e aperfeiçoamento dos LLMsFuturo das arquitecturas de medalhõesConclusão

Content preview from Construir arquitecturas Medallion

Capítulo 2. Preparar o terreno

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Antes de construir uma casa, tens de estabelecer primeiro uma base sólida. A mesma ideia se aplica à arquitetura Medallion. Este capítulo serve como uma ponte preparatória, introduzindo os principais componentes e padrões que se repetem em nossas discussões sobre as arquiteturas Medallion. Também prepara o terreno para o Capítulo 3, no qual mergulharemos profundamente na arquitetura Medallion e suas camadas.

Neste capítulo, abordamos várias áreas fundamentais:

Zonas de aterragem suplementares: Áreas preliminares onde os dados brutos do são ingeridos antes de entrarem na arquitetura do Medallion
Dados em bruto: Os dados não processados recolhidos de várias fontes, que constituem a base para transformações e análises posteriores
Processamento em lote: Um método de processamento de dados em que os dados são recolhidos, processados e depois enviados em lotes em intervalos programados
Processamento de dados em tempo real: Em contraste com o processamento em lote, este envolve o processamento de dados assim que estes ficam disponíveis, permitindo uma análise e tomada de decisões imediatas
Ferramentas ETL e de orquestração: Integrado para extrair, transformar e carregar dados, e desempenha um papel crucial na orquestração e automatização de fluxos de trabalho no ecossistema de dados