book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 43m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é uma arquitetura de medalhão?Uma breve história da arquitetura do Data WarehouseSistemas OLTPArmazéns de dadosA zona de preparaçãoMetodologia InmonMetodologia KimballPrincipais conclusões dos armazéns de dados tradicionaisUma breve história dos lagos de dadosSistema de ficheiros distribuído do HadoopMapReduceApache HiveProjeto SparkAvança com os Data LakesUma breve história da arquitetura das casas do lagoFundadores da SparkEmergência de formatos de mesa abertaA ascensão das arquitecturas de lagosA arquitetura do medalhão e os seus desafios práticosConclusão
Condições prévias fundamentaisZonas de aterragem extraDados brutosProcessamento em loteProcessamento de dados em tempo realSpark Structured StreamingAltera o feed de dadosAltera a captura de dadosConsiderações e recursos de aprendizagemFerramentas ETL e de orquestraçãoGerir tabelas deltaEncomenda ZEncomenda VParticionamento de tabelasClusterização líquidaCompactação e gravações otimizadasDeltaLogConclusão
O design de três camadasCamada de bronzeHierarquia de processamentoProcessamento de cargas de dados completasProcessamento de cargas de dados incrementaisHistorização de dados na camada de bronzeEvolução e gestão de esquemasMergeSchema e Schema EnforcementControlos de validação técnicaUtilização e governaçãoA camada de bronze na práticaCamada de prataAtividades de limpeza de dadosConceber o modelo de dados da Silver LayerHarmonização com outras fontes3NF e Data VaultConsulta operacional e aprendizagem automáticaGerir a sobreposição de necessidadesTarefas de automatizaçãoA camada de prata na práticaCamada de ouroEsquema estrelaNuances do design do esquema em estrelaCamadas de curadoria, semântica e platinaDesign de uma mesa grandeCamada de servirA camada de ouro na práticaConclusão
O nosso caso de estudo: Oceanic AirlinesApresentando o Microsoft FabricDomíniosEspaços de trabalho e capacidadesOneLakeEngenharia de dados com SparkArmazenamento de dados com T-SQLOutros tipos de carga de trabalho de tecidoCriar a fundaçãoDefinição de capacidadesConfigurar domíniosConfigurar espaços de trabalhoCriar casas de lagoConsiderações sobre a capacidadeConsiderações sobre o domínioConsiderações sobre o espaço de trabalhoConsiderações sobre entidades de lagosConsiderações sobre a conta de armazenamentoConclusão
Criar o pipeline de dadosImplantação do banco de dados de amostra do AdventureWorksConfigura uma ligação à base de dados SQL do AzureCriar um novo pipeline de dadosConsiderações adicionaisImplementação de tabelas de lagosPercorre ficheiros Parquet para tabelas Delta geridasUtilização de tabelas externasAtualização de tabelas com operações MERGESpark Structured StreamingUtilização da captura de dados de modificaçãoNavegação em técnicas de tratamento de dadosGestão de esquemasCria tabelas sem definir esquemasDefine esquemas com a API DataFrameDeclarações SQL DDLConfigurações YAML ou JSONAbordagem orientada por metadadosCarregador automático DatabricksFerramentas de terceirosManipulação da evolução do esquemaConclusão
Recapitulação rápidaImplementação de uma abordagem baseada em metadadosImplementação do armazenamento de metadadosImplementação de validações dinâmicas de dadosÁreas de melhoriaLimpeza de dadosImplementação de tarefas de limpeza de dadosConsiderações sobre a limpeza de dadosEstruturas de transformação de dados e ferramentas de qualidade de dadosOtimização do desempenho da consulta com desnormalizaçãoEnriquecimentos levesHistorização de dadosEmpregos de otimizaçãoOrquestração com o Apache AirFlowRecomendações finaisDados da Silver-Layer como um produtoConclusão

Conceção da camada de ouroTransforma dados usando um esquema em estrelaCriação do modelo semânticoCriação do primeiro relatório do Power BICriação de fluxos de tarefasMelhorias no design da camada de ouroMicrosoft Fabric na práticaProdutos de dadosGovernação de dados com o Microsoft PurviewConsiderações sobre o design do Microsoft PurviewOrientações para arquitecturas de medalhõesConclusão
Arquitetura MedalhãoOutras consideraçõesRecomendações finais
Arquitetura MedalhãoFinOpsModelos de dadosContratos de dadosGovernação de dados
Evolução da plataforma de dadosArquitetura MedalhãoProdutos e partilha de dadosRecomendações e boas práticas
Descentralização da gestão de dadosFlexibilidade na FederaçãoMalha medalhãoNúmero de arquitecturas de medalhõesVariações da arquitetura interior do medalhãoSepara as camadas de produtos de dadosArquitecturas de medalhões à medidaAdaptabilidade da camada de bronzeVariações da camada de prataVariações da camada douradaModelos de dados empresariaisGestão de dados mestreGestão de dados de referênciaConclusão
Governação de dadosGovernação no âmbito de uma arquitetura de medalhãoCatálogo UnityArquitetura Medallion com o Catálogo UnityContratos de dadosContratos dentro de um catálogoContratos dentro de um MetastoreContratos de dados usando arquivos YAML e GitOpsOutros dados Especificações do contratoSegurança de dados e gestão de acessosConclusão
Processamento de dados não estruturadosGeração aumentada por recuperaçãoCamada de bronzeCamada de prataCamada de ouroIntegração de LLMs e arquitecturas MedallionPapel dos agentesFormação e aperfeiçoamento dos LLMsFuturo das arquitecturas de medalhõesConclusão

Content preview from Construir arquitecturas Medallion

Prefácio

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Há cerca de um ano, no início de 2024, estava a preparar-me para o meu terceiro workshop de arquitetura da semana. Quando me apresentei perante os participantes ansiosos, a conversa virou-se naturalmente para a arquitetura Medallion. Os participantes começaram a fazer perguntas: "Quais são as melhores práticas?" "O que é que as outras empresas fazem?" "Esta arquitetura é um padrão válido para grandes organizações que operam em vários domínios?" "O Data Mesh substitui uma arquitetura lakehouse?" "Como é que implementamos a camada Silver na prática?"

Sempre que discuto o conceito de arquitetura Medallion, parece que estou a desvendar um puzzle complexo. Apesar da sua abordagem simplificada em camadas para tratar de várias questões de arquitetura, a persistente falta de definições claras e de diretrizes descritivas leva muitas vezes a uma enxurrada de perguntas, o que gera confusão e ineficiência nas organizações. Este tema recorrente prompt me para tomar medidas decisivas: Decidi escrever um livro que forneceria um guia completo sobre a arquitetura Medallion, oferecendo clareza e orientação aos profissionais que navegam nesta paisagem complexa.

Ao longo dos anos, dediquei-me a estudar extensivamente a arquitetura Medallion. A minha pesquisa e experiência prática revelaram a sua significativa sobreposição com o armazenamento de dados, a governação, a gestão ...