book

Construir arquitecturas Medallion

by Piethein Strengholt

March 2025

Intermediate to advanced

396 pages

12h 43m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é uma arquitetura de medalhão?Uma breve história da arquitetura do Data WarehouseSistemas OLTPArmazéns de dadosA zona de preparaçãoMetodologia InmonMetodologia KimballPrincipais conclusões dos armazéns de dados tradicionaisUma breve história dos lagos de dadosSistema de ficheiros distribuído do HadoopMapReduceApache HiveProjeto SparkAvança com os Data LakesUma breve história da arquitetura das casas do lagoFundadores da SparkEmergência de formatos de mesa abertaA ascensão das arquitecturas de lagosA arquitetura do medalhão e os seus desafios práticosConclusão
Condições prévias fundamentaisZonas de aterragem extraDados brutosProcessamento em loteProcessamento de dados em tempo realSpark Structured StreamingAltera o feed de dadosAltera a captura de dadosConsiderações e recursos de aprendizagemFerramentas ETL e de orquestraçãoGerir tabelas deltaEncomenda ZEncomenda VParticionamento de tabelasClusterização líquidaCompactação e gravações otimizadasDeltaLogConclusão
O design de três camadasCamada de bronzeHierarquia de processamentoProcessamento de cargas de dados completasProcessamento de cargas de dados incrementaisHistorização de dados na camada de bronzeEvolução e gestão de esquemasMergeSchema e Schema EnforcementControlos de validação técnicaUtilização e governaçãoA camada de bronze na práticaCamada de prataAtividades de limpeza de dadosConceber o modelo de dados da Silver LayerHarmonização com outras fontes3NF e Data VaultConsulta operacional e aprendizagem automáticaGerir a sobreposição de necessidadesTarefas de automatizaçãoA camada de prata na práticaCamada de ouroEsquema estrelaNuances do design do esquema em estrelaCamadas de curadoria, semântica e platinaDesign de uma mesa grandeCamada de servirA camada de ouro na práticaConclusão
O nosso caso de estudo: Oceanic AirlinesApresentando o Microsoft FabricDomíniosEspaços de trabalho e capacidadesOneLakeEngenharia de dados com SparkArmazenamento de dados com T-SQLOutros tipos de carga de trabalho de tecidoCriar a fundaçãoDefinição de capacidadesConfigurar domíniosConfigurar espaços de trabalhoCriar casas de lagoConsiderações sobre a capacidadeConsiderações sobre o domínioConsiderações sobre o espaço de trabalhoConsiderações sobre entidades de lagosConsiderações sobre a conta de armazenamentoConclusão
Criar o pipeline de dadosImplantação do banco de dados de amostra do AdventureWorksConfigura uma ligação à base de dados SQL do AzureCriar um novo pipeline de dadosConsiderações adicionaisImplementação de tabelas de lagosPercorre ficheiros Parquet para tabelas Delta geridasUtilização de tabelas externasAtualização de tabelas com operações MERGESpark Structured StreamingUtilização da captura de dados de modificaçãoNavegação em técnicas de tratamento de dadosGestão de esquemasCria tabelas sem definir esquemasDefine esquemas com a API DataFrameDeclarações SQL DDLConfigurações YAML ou JSONAbordagem orientada por metadadosCarregador automático DatabricksFerramentas de terceirosManipulação da evolução do esquemaConclusão
Recapitulação rápidaImplementação de uma abordagem baseada em metadadosImplementação do armazenamento de metadadosImplementação de validações dinâmicas de dadosÁreas de melhoriaLimpeza de dadosImplementação de tarefas de limpeza de dadosConsiderações sobre a limpeza de dadosEstruturas de transformação de dados e ferramentas de qualidade de dadosOtimização do desempenho da consulta com desnormalizaçãoEnriquecimentos levesHistorização de dadosEmpregos de otimizaçãoOrquestração com o Apache AirFlowRecomendações finaisDados da Silver-Layer como um produtoConclusão

Conceção da camada de ouroTransforma dados usando um esquema em estrelaCriação do modelo semânticoCriação do primeiro relatório do Power BICriação de fluxos de tarefasMelhorias no design da camada de ouroMicrosoft Fabric na práticaProdutos de dadosGovernação de dados com o Microsoft PurviewConsiderações sobre o design do Microsoft PurviewOrientações para arquitecturas de medalhõesConclusão
Arquitetura MedalhãoOutras consideraçõesRecomendações finais
Arquitetura MedalhãoFinOpsModelos de dadosContratos de dadosGovernação de dados
Evolução da plataforma de dadosArquitetura MedalhãoProdutos e partilha de dadosRecomendações e boas práticas
Descentralização da gestão de dadosFlexibilidade na FederaçãoMalha medalhãoNúmero de arquitecturas de medalhõesVariações da arquitetura interior do medalhãoSepara as camadas de produtos de dadosArquitecturas de medalhões à medidaAdaptabilidade da camada de bronzeVariações da camada de prataVariações da camada douradaModelos de dados empresariaisGestão de dados mestreGestão de dados de referênciaConclusão
Governação de dadosGovernação no âmbito de uma arquitetura de medalhãoCatálogo UnityArquitetura Medallion com o Catálogo UnityContratos de dadosContratos dentro de um catálogoContratos dentro de um MetastoreContratos de dados usando arquivos YAML e GitOpsOutros dados Especificações do contratoSegurança de dados e gestão de acessosConclusão
Processamento de dados não estruturadosGeração aumentada por recuperaçãoCamada de bronzeCamada de prataCamada de ouroIntegração de LLMs e arquitecturas MedallionPapel dos agentesFormação e aperfeiçoamento dos LLMsFuturo das arquitecturas de medalhõesConclusão

Content preview from Construir arquitecturas Medallion

Capítulo 9. Estudo de caso: Amadeus, umlíder tecnológicono sector das viagens

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Neste capítulo abrangente, exploramos a intrincada arquitetura de dados da Amadeus, um líder global em soluções de tecnologia de viagens. Aprofundamos discussões perspicazes com Joel Singer, o chefe de engenharia de dados da Amadeus, que traz mais de duas décadas de experiência na direção das iniciativas de dados da empresa.

Joel descreve os três principais pilares da estratégia de dados da Amadeus: malha de dados, dados abertos e Data 360, que visam coletivamente aproveitar os dados para criar conhecimento e melhorar continuamente os produtos. Exploramos a implementação diferenciada do conceito de malha de dados na Amadeus, que abrange dados operacionais e analíticos para responder eficazmente às diversas exigências dos clientes.

À medida que navegamos na entrevista, Joel elabora o sofisticado design Medallion da arquitetura de dados do Amadeus, detalhando cada camada desde a ingestão de dados até à exposição dos mesmos. Discute os desafios e as soluções na gestão das camadas Bronze, Prata e Ouro, realçando a importância da qualidade, segurança eacessibilidade dos dados.

Este capítulo também aborda as implicações mais amplas da gestão de dados no Amadeus, incluindo a governação de dados e as abordagens inovadoras à integração e partilha de dados em vários domínios da empresa.

Piethein ...