book

Construir um Data Mesh orientado por eventos

by Adam Bellemare

April 2025

Intermediate to advanced

262 pages

8h 29m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é Data Mesh?Um Data Mesh orientado para eventosUtilização de dados no plano operacionalO monólito de dadosAs dificuldades de comunicação de dados para questões operacionaisO plano analítico: Data Warehouses e Data LakesO impacto organizacional do esquema na leituraDados incorrectos: Os custos da inaçãoPodemos unificar os fluxos de trabalho analíticos e operacionais?Repensa os dados com o Data MeshObjecções comuns a um Data Mesh orientado para eventosOs produtores não podem modelar dados para os casos de utilização de todosFazer várias cópias de dados é mauA consistência eventual é demasiado difícil de gerirResumo
Princípio 1: Propriedade do domínioResumo do design orientado para o domínioSelecionar os dados a expor do teu domínioPrincípio 2: Dados como um produtoOs produtos de dados fornecem dados imutáveis e com carimbo de data/horaOs produtos de dados são multimodaisAcesso a um produto de dados via push ou pullOs três tipos de alinhamento de produtos de dadosProdutos de dados orientados por eventos como entradas para sistemas operacionaisPrincípio 3: Governação FederadaEspecificar a linguagem do produto de dados, a estrutura e o suporte da APIEstabelecimento dos requisitos do ciclo de vida do produto de dadosEstabelecer políticas de tratamento de dados e de infosecIdentificação e normalização de polissemas de domínio cruzadoFormalização dos requisitos da plataforma self-servicePrincípio 4: Plataforma self-serviceDescobrir produtos e dependências de dadosControlos de gestão de produtos de dadosControlos de acesso aos produtos de dadosRecursos de computação e armazenamento para criar e utilizar produtos de dadosFornecimento de autosserviço através de SaaSResumo
Eventos, mensagens e registosO que é um fluxo de eventos? O que não é?Passagem de mensagens efémerasColocação em fila de esperaConsumir e utilizar produtos de dados controlados por eventosEventos de estado e transferência de estado transportada por eventosMaterialização de eventosAgregação de eventosA arquitetura KappaA arquitetura Lambda e porque é que não funciona para o Data MeshApoiar os requisitos da arquitetura KappaSeleção de um intermediário de eventosResumo
Formação de uma equipa de governação federadaImplementação de normasSuporte a tipos de produtos de dados multimodaisEsquemas de produtos de dados de apoioLinguagens e estruturas de programação de apoioNormas e requisitos de metadadosGarantir a compatibilidade e interoperabilidade dos produtos de dados entre domíniosDefinição e utilização de entidades comunsChaveamento e particionamento do fluxo de eventosHora e fusos horáriosComo é que é uma reunião de governação?1. Identificar os problemas existentes2. Redação de propostas3. Revisão das propostas4. Implementação das propostas5. Arquivamento das propostasSegurança dos dados e políticas de acessoDesativar o acesso aos produtos de dados por defeitoConsidera a encriptação de ponta a pontaEncriptação ao nível do campoPrivacidade de dados, o direito a ser esquecido e a destruição de criptomoedasLinhagem de produtos de dadosLinhagem baseada em topologiaLinhagem baseada em registosResumo
O modelo de maturidade da plataforma self-serviceNível 1: A plataforma mínima viávelO Registo de EsquemasUm catálogo de metadados extremamente básicoConectoresNível 1 - Resume: Como é que funciona?Nível 2: A plataforma alargadaCatálogo de Metadados CompletoO serviço de gestão de produtos de dados e a interface do utilizadorIdentidades de serviço e de utilizadorControlos de acesso básicosProcessamento de fluxos para a criação de produtos de dadosConclusão do Nível 2: Como é que funciona?Nível 3: A plataforma maduraAutenticação, identificação e gestão de acessoIntegração com os processos de entrega de aplicações existentesDados programáticos Gestão de produtos APIMonitorização e alertasProdutos de dados multiregionais e multicloudNível 3 - Resume: Como é que funciona?Resumo
Uma breve introdução à serialização e desserializaçãoO que é um esquema?Quais são as nossas opções de tecnologia de esquema?Os buffers de protocolo do Google, também conhecidos como ProtobufApache AvroEsquema JSONEvolução do esquema: Alterando seus esquemas ao longo do tempoNegociação de uma mudança de esquema de ruturaPasso 1: Concebe o novo modelo de dadosPasso 2: Iteração com os consumidores existentes e a equipa de governação federadaPasso 3. Cria um calendário de lançamento, um plano de migração de dados e um plano de depreciaçãoPasso 4. Executa a libertaçãoO papel do Registo de EsquemasMelhores práticas para gerir esquemas na tua base de códigoEscolher uma tecnologia de esquemaResumo
Introdução aos tipos de eventosExpansão dos eventos de estado e da transferência de estado transportada por eventosEventos actuais do EstadoAntes e depois dos eventos estataisEventos DeltaFornecimento de eventos com a Delta EventsPorque é que os eventos Delta não funcionam para produtos de dados orientados para eventosEventos de mediçãoOs eventos de medição formam frequentemente produtos de dados alinhados com agregadosAs fontes de eventos de medição podem ter perdasEventos de medição podem alimentar aplicações sensíveis ao tempoEventos híbridos-Estado com um pouco de DeltaEventos de notificaçãoResumo
Como começar: Bootstrap com conectoresGravações duplasSondagem do banco de dados para criar produtos de dadosCaptura de dados de modificaçãoCaptura de dados de modificação usando uma caixa de saída transacionalDesnormalização e EvidenciaçãoEvidenciação na caixa de saída transacionalEvidenciação num serviço dedicadoO que é que deve ir para o evento? E o que deve ficar de fora?Mudança lenta de dimensõesBootstrap de ficheiros de armazenamento Cloud para um fluxo de eventosResumo
A análise e a arquitetura do medalhãoConexão de fluxos de eventos a fluxos de dados em lote existentesAtravés da lente do Data Mesh: O que é que se passa?Através da lente do Data Mesh: como resolvê-lo?Equilibrar tamanhos de ficheiros, SLAs e latênciaO teu orçamento está a ficar triste: Uma história de gastos excessivosAlargar a plataforma self-service a produtos de dados sem streamingResumo

Convergindo para a consistência, um evento de cada vezEstratégias para lidar com a eventual consistênciaEvita falhas para evitar inconsistênciasUtiliza produtos de dados orientados para eventos em vez de chamadas de API de servidor de pedido-respostaExpor a consistência eventual na resposta do servidorPlano para novos serviços e reprocessamento de dadosSincroniza produtos de dados em limites de tempoEventos fora de ordemResolver eventos de chegada tardiaResumo
Fluxos de eventos para Data MeshIntegração com sistemas existentesOperações, análises e tudo o maisResumo

Content preview from Construir um Data Mesh orientado por eventos

Capítulo 9. Integração de dados orientados por eventosem dados em repouso

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Os produtos de dados orientados para eventos oferecem uma flexibilidade excecional aos consumidores, mas podem não ser adequados para todos os casos de utilização. Os sistemas e as dependências existentes desempenham um papel importante em qualquer arquitetura, e a mudança para uma malha de dados depende do apoio aos casos de utilização existentes, promovendo simultaneamente mudanças incrementais. Muitos sistemas, tarefas de processamento e cálculos dependem fortemente de dados em repouso, particularmente aqueles no domínio da análise.

Neste capítulo, vamos nos concentrar na integração de dados orientados por eventos em dados em repouso. Examinaremos a arquitetura do Medallion e a função que ela desempenha nos fluxos de trabalho modernos de análise de dados. Exploraremos estratégias e soluções de compromisso para determinar quando converter dados de um fluxo de eventos em um lote de arquivos em repouso. Por fim, analisaremos um exemplo do mundo real para colocar a teoria em prática. Vamos ao que interessa.

A análise e a arquitetura do medalhão

A mudança funciona melhor se primeiro conheceres os teus utilizadores onde eles estão. Os pipelines e fluxos de trabalho de análise de dados baseados em lotes são extremamente comuns na maioria das indústrias, e muitas organizações investiram fortemente ...