book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 43m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é uma arquitetura de medalhão?Uma breve história da arquitetura do Data WarehouseSistemas OLTPArmazéns de dadosA zona de preparaçãoMetodologia InmonMetodologia KimballPrincipais conclusões dos armazéns de dados tradicionaisUma breve história dos lagos de dadosSistema de ficheiros distribuído do HadoopMapReduceApache HiveProjeto SparkAvança com os Data LakesUma breve história da arquitetura das casas do lagoFundadores da SparkEmergência de formatos de mesa abertaA ascensão das arquitecturas de lagosA arquitetura do medalhão e os seus desafios práticosConclusão
Condições prévias fundamentaisZonas de aterragem extraDados brutosProcessamento em loteProcessamento de dados em tempo realSpark Structured StreamingAltera o feed de dadosAltera a captura de dadosConsiderações e recursos de aprendizagemFerramentas ETL e de orquestraçãoGerir tabelas deltaEncomenda ZEncomenda VParticionamento de tabelasClusterização líquidaCompactação e gravações otimizadasDeltaLogConclusão
O design de três camadasCamada de bronzeHierarquia de processamentoProcessamento de cargas de dados completasProcessamento de cargas de dados incrementaisHistorização de dados na camada de bronzeEvolução e gestão de esquemasMergeSchema e Schema EnforcementControlos de validação técnicaUtilização e governaçãoA camada de bronze na práticaCamada de prataAtividades de limpeza de dadosConceber o modelo de dados da Silver LayerHarmonização com outras fontes3NF e Data VaultConsulta operacional e aprendizagem automáticaGerir a sobreposição de necessidadesTarefas de automatizaçãoA camada de prata na práticaCamada de ouroEsquema estrelaNuances do design do esquema em estrelaCamadas de curadoria, semântica e platinaDesign de uma mesa grandeCamada de servirA camada de ouro na práticaConclusão
O nosso caso de estudo: Oceanic AirlinesApresentando o Microsoft FabricDomíniosEspaços de trabalho e capacidadesOneLakeEngenharia de dados com SparkArmazenamento de dados com T-SQLOutros tipos de carga de trabalho de tecidoCriar a fundaçãoDefinição de capacidadesConfigurar domíniosConfigurar espaços de trabalhoCriar casas de lagoConsiderações sobre a capacidadeConsiderações sobre o domínioConsiderações sobre o espaço de trabalhoConsiderações sobre entidades de lagosConsiderações sobre a conta de armazenamentoConclusão
Criar o pipeline de dadosImplantação do banco de dados de amostra do AdventureWorksConfigura uma ligação à base de dados SQL do AzureCriar um novo pipeline de dadosConsiderações adicionaisImplementação de tabelas de lagosPercorre ficheiros Parquet para tabelas Delta geridasUtilização de tabelas externasAtualização de tabelas com operações MERGESpark Structured StreamingUtilização da captura de dados de modificaçãoNavegação em técnicas de tratamento de dadosGestão de esquemasCria tabelas sem definir esquemasDefine esquemas com a API DataFrameDeclarações SQL DDLConfigurações YAML ou JSONAbordagem orientada por metadadosCarregador automático DatabricksFerramentas de terceirosManipulação da evolução do esquemaConclusão
Recapitulação rápidaImplementação de uma abordagem baseada em metadadosImplementação do armazenamento de metadadosImplementação de validações dinâmicas de dadosÁreas de melhoriaLimpeza de dadosImplementação de tarefas de limpeza de dadosConsiderações sobre a limpeza de dadosEstruturas de transformação de dados e ferramentas de qualidade de dadosOtimização do desempenho da consulta com desnormalizaçãoEnriquecimentos levesHistorização de dadosEmpregos de otimizaçãoOrquestração com o Apache AirFlowRecomendações finaisDados da Silver-Layer como um produtoConclusão

Conceção da camada de ouroTransforma dados usando um esquema em estrelaCriação do modelo semânticoCriação do primeiro relatório do Power BICriação de fluxos de tarefasMelhorias no design da camada de ouroMicrosoft Fabric na práticaProdutos de dadosGovernação de dados com o Microsoft PurviewConsiderações sobre o design do Microsoft PurviewOrientações para arquitecturas de medalhõesConclusão
Arquitetura MedalhãoOutras consideraçõesRecomendações finais
Arquitetura MedalhãoFinOpsModelos de dadosContratos de dadosGovernação de dados
Evolução da plataforma de dadosArquitetura MedalhãoProdutos e partilha de dadosRecomendações e boas práticas
Descentralização da gestão de dadosFlexibilidade na FederaçãoMalha medalhãoNúmero de arquitecturas de medalhõesVariações da arquitetura interior do medalhãoSepara as camadas de produtos de dadosArquitecturas de medalhões à medidaAdaptabilidade da camada de bronzeVariações da camada de prataVariações da camada douradaModelos de dados empresariaisGestão de dados mestreGestão de dados de referênciaConclusão
Governação de dadosGovernação no âmbito de uma arquitetura de medalhãoCatálogo UnityArquitetura Medallion com o Catálogo UnityContratos de dadosContratos dentro de um catálogoContratos dentro de um MetastoreContratos de dados usando arquivos YAML e GitOpsOutros dados Especificações do contratoSegurança de dados e gestão de acessosConclusão
Processamento de dados não estruturadosGeração aumentada por recuperaçãoCamada de bronzeCamada de prataCamada de ouroIntegração de LLMs e arquitecturas MedallionPapel dos agentesFormação e aperfeiçoamento dos LLMsFuturo das arquitecturas de medalhõesConclusão

Content preview from Construir arquitecturas Medallion

Parte IV. Dimensionamento, governação e ofuturo das arquitecturas Medallion

Compreender as complexidades do dimensionamento e da governação no âmbito da arquitetura Medallion é crucial para as organizações que se esforçam por satisfazer exigências crescentes, mantendo o controlo sobre os seus ambientes de dados. Muitas organizações consideram essas áreas particularmente desafiadoras, mas dominá-las é essencial para o crescimento sustentável e a conformidade regulamentar. Com base em conceitos discutidos anteriormente, como domínios de dados e produtos de dados, esta parte fornece informações mais aprofundadas e soluções práticas para a criação de arquitecturas Medallion escaláveis, seguras e preparadas para o futuro.

O Capítulo 11 fornece um guia abrangente sobre como dimensionar eficazmente as arquitecturas Medallion e gerir várias instâncias na mesma organização. Discute as melhores práticas, as armadilhas comuns e as estratégias para garantir que as arquiteturas possam crescer com a empresa.

O capítulo 12 analisa os aspectos críticos da governação e da segurança no âmbito da arquitetura Medallion. Explora os desafios e as oportunidades da implementação de medidas robustas de governação e segurança para proteger os activos de dados e garantir a conformidade com os regulamentos.

O capítulo 13 explora o futuro das arquitecturas Medallion, nomeadamente em relação à inteligência artificial generativa. Conclui com uma reflexão sobre a evolução do panorama das arquitecturas de dados. ...