book

Construir um Data Mesh orientado por eventos

by Adam Bellemare

April 2025

Intermediate to advanced

262 pages

8h 29m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é Data Mesh?Um Data Mesh orientado para eventosUtilização de dados no plano operacionalO monólito de dadosAs dificuldades de comunicação de dados para questões operacionaisO plano analítico: Data Warehouses e Data LakesO impacto organizacional do esquema na leituraDados incorrectos: Os custos da inaçãoPodemos unificar os fluxos de trabalho analíticos e operacionais?Repensa os dados com o Data MeshObjecções comuns a um Data Mesh orientado para eventosOs produtores não podem modelar dados para os casos de utilização de todosFazer várias cópias de dados é mauA consistência eventual é demasiado difícil de gerirResumo
Princípio 1: Propriedade do domínioResumo do design orientado para o domínioSelecionar os dados a expor do teu domínioPrincípio 2: Dados como um produtoOs produtos de dados fornecem dados imutáveis e com carimbo de data/horaOs produtos de dados são multimodaisAcesso a um produto de dados via push ou pullOs três tipos de alinhamento de produtos de dadosProdutos de dados orientados por eventos como entradas para sistemas operacionaisPrincípio 3: Governação FederadaEspecificar a linguagem do produto de dados, a estrutura e o suporte da APIEstabelecimento dos requisitos do ciclo de vida do produto de dadosEstabelecer políticas de tratamento de dados e de infosecIdentificação e normalização de polissemas de domínio cruzadoFormalização dos requisitos da plataforma self-servicePrincípio 4: Plataforma self-serviceDescobrir produtos e dependências de dadosControlos de gestão de produtos de dadosControlos de acesso aos produtos de dadosRecursos de computação e armazenamento para criar e utilizar produtos de dadosFornecimento de autosserviço através de SaaSResumo
Eventos, mensagens e registosO que é um fluxo de eventos? O que não é?Passagem de mensagens efémerasColocação em fila de esperaConsumir e utilizar produtos de dados controlados por eventosEventos de estado e transferência de estado transportada por eventosMaterialização de eventosAgregação de eventosA arquitetura KappaA arquitetura Lambda e porque é que não funciona para o Data MeshApoiar os requisitos da arquitetura KappaSeleção de um intermediário de eventosResumo
Formação de uma equipa de governação federadaImplementação de normasSuporte a tipos de produtos de dados multimodaisEsquemas de produtos de dados de apoioLinguagens e estruturas de programação de apoioNormas e requisitos de metadadosGarantir a compatibilidade e interoperabilidade dos produtos de dados entre domíniosDefinição e utilização de entidades comunsChaveamento e particionamento do fluxo de eventosHora e fusos horáriosComo é que é uma reunião de governação?1. Identificar os problemas existentes2. Redação de propostas3. Revisão das propostas4. Implementação das propostas5. Arquivamento das propostasSegurança dos dados e políticas de acessoDesativar o acesso aos produtos de dados por defeitoConsidera a encriptação de ponta a pontaEncriptação ao nível do campoPrivacidade de dados, o direito a ser esquecido e a destruição de criptomoedasLinhagem de produtos de dadosLinhagem baseada em topologiaLinhagem baseada em registosResumo
O modelo de maturidade da plataforma self-serviceNível 1: A plataforma mínima viávelO Registo de EsquemasUm catálogo de metadados extremamente básicoConectoresNível 1 - Resume: Como é que funciona?Nível 2: A plataforma alargadaCatálogo de Metadados CompletoO serviço de gestão de produtos de dados e a interface do utilizadorIdentidades de serviço e de utilizadorControlos de acesso básicosProcessamento de fluxos para a criação de produtos de dadosConclusão do Nível 2: Como é que funciona?Nível 3: A plataforma maduraAutenticação, identificação e gestão de acessoIntegração com os processos de entrega de aplicações existentesDados programáticos Gestão de produtos APIMonitorização e alertasProdutos de dados multiregionais e multicloudNível 3 - Resume: Como é que funciona?Resumo
Uma breve introdução à serialização e desserializaçãoO que é um esquema?Quais são as nossas opções de tecnologia de esquema?Os buffers de protocolo do Google, também conhecidos como ProtobufApache AvroEsquema JSONEvolução do esquema: Alterando seus esquemas ao longo do tempoNegociação de uma mudança de esquema de ruturaPasso 1: Concebe o novo modelo de dadosPasso 2: Iteração com os consumidores existentes e a equipa de governação federadaPasso 3. Cria um calendário de lançamento, um plano de migração de dados e um plano de depreciaçãoPasso 4. Executa a libertaçãoO papel do Registo de EsquemasMelhores práticas para gerir esquemas na tua base de códigoEscolher uma tecnologia de esquemaResumo
Introdução aos tipos de eventosExpansão dos eventos de estado e da transferência de estado transportada por eventosEventos actuais do EstadoAntes e depois dos eventos estataisEventos DeltaFornecimento de eventos com a Delta EventsPorque é que os eventos Delta não funcionam para produtos de dados orientados para eventosEventos de mediçãoOs eventos de medição formam frequentemente produtos de dados alinhados com agregadosAs fontes de eventos de medição podem ter perdasEventos de medição podem alimentar aplicações sensíveis ao tempoEventos híbridos-Estado com um pouco de DeltaEventos de notificaçãoResumo
Como começar: Bootstrap com conectoresGravações duplasSondagem do banco de dados para criar produtos de dadosCaptura de dados de modificaçãoCaptura de dados de modificação usando uma caixa de saída transacionalDesnormalização e EvidenciaçãoEvidenciação na caixa de saída transacionalEvidenciação num serviço dedicadoO que é que deve ir para o evento? E o que deve ficar de fora?Mudança lenta de dimensõesBootstrap de ficheiros de armazenamento Cloud para um fluxo de eventosResumo
A análise e a arquitetura do medalhãoConexão de fluxos de eventos a fluxos de dados em lote existentesAtravés da lente do Data Mesh: O que é que se passa?Através da lente do Data Mesh: como resolvê-lo?Equilibrar tamanhos de ficheiros, SLAs e latênciaO teu orçamento está a ficar triste: Uma história de gastos excessivosAlargar a plataforma self-service a produtos de dados sem streamingResumo

Convergindo para a consistência, um evento de cada vezEstratégias para lidar com a eventual consistênciaEvita falhas para evitar inconsistênciasUtiliza produtos de dados orientados para eventos em vez de chamadas de API de servidor de pedido-respostaExpor a consistência eventual na resposta do servidorPlano para novos serviços e reprocessamento de dadosSincroniza produtos de dados em limites de tempoEventos fora de ordemResolver eventos de chegada tardiaResumo
Fluxos de eventos para Data MeshIntegração com sistemas existentesOperações, análises e tudo o maisResumo

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

O crescimento exponencial dos dados combinado com a necessidade de obter valor comercial em tempo real é uma questão crítica atualmente. Uma malha de dados orientada por eventos pode alimentar cargas de trabalho operacionais e analíticas em tempo real, tudo a partir de um único conjunto de fluxos de produtos de dados. Com exemplos práticos do mundo real, este livro mostra-te como conceber e construir com sucesso uma malha de dados orientada por eventos.

Constrói um Data Mesh orientado por eventos fornece:

Dicas práticas para construir iterativamente a tua própria Data Mesh orientada por eventos, incluindo os obstáculos que irás encontrar, possíveis soluções e como obter valor real o mais rapidamente possível
Soluções para as armadilhas que podes encontrar ao mover a tua organização de monólitos para arquitecturas orientadas por eventos
Uma compreensão clara de como os eventos se relacionam com os sistemas e outros eventos no mesmo fluxo e entre fluxos
Uma visão realista das opções de modelação de eventos, tais como eventos de tipo facto, delta e comando, incluindo a forma como estas escolhas terão impacto nos teus produtos de dados
Práticas recomendadas para lidar com eventos em escala, privacidade e conformidade regulamentar
Conselhos sobre comunicação assíncrona e tratamento de eventual consistência