构建事件驱动的数据网格

第 1 章 事件驱动数据通信

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

企业处理数据的方式正在发生迅速变化。将企业的所有数据整齐地放入一个关系数据库的时代已经一去不复返了。二十多年前开始的大数据革命已经发展到今天，将海量数据集存储在大数据湖中进行批量分析已不再足够。速度和互联性已经成为企业竞争的下一个主要要求，再次改变了企业创建、存储、访问和共享重要数据的方式。

数据是企业的生命线。但是，企业创建、共享和使用数据的许多方式都是杂乱无章、互不关联的。Data Mesh 提供了一个全面的框架，用于重新审视这些往往功能失调的关系，并提供了一种新的方式来思考、构建和共享整个组织的数据，从而使我们能够做一些有益和有用的事情：为客户提供更好的服务、无差错的报告、可操作的洞察力，以及实现真正的数据驱动流程。

要了解我们要解决的问题，我们首先需要了解现代企业面临的主要数据问题。

首先，大数据系统作为公司业务分析引擎的基础，其规模和复杂性都呈爆炸式增长。人们曾多次尝试解决和降低这种复杂性，但都没有达到预期目标。

其次，大公司的业务运营早已不再由单一的单体部署提供服务。多服务部署已成为常态，包括微服务和面向服务的架构。这些模块化系统的边界很少能轻易定义，尤其是当许多独立的操作和分析系统依赖于对相同数据集的只读访问时。这里存在一种对立的矛盾：一方面，将业务功能集中在一个应用程序中，可以对该系统中生成和存储的所有数据进行一致的访问。另一方面，除了需要对重要业务数据进行普通只读访问外，这些业务功能之间可能完全没有任何关系。

第三，运营和分析领域的共同问题：无法获取高质量、有据可查、可自我更新和可靠的数据。企业处理的数据量逐年大幅增加，因此需要更好的方法来分类、存储和使用这些数据。这种压力最终打击了将所有数据保存在单一数据库中的理想，迫使开发人员将单体应用程序分割成具有各自数据库的独立部署。与此同时，由于大数据团队仍然只负责获取自己的数据，因此很难跟上这些操作系统的分裂和重构。

数据历来被视为二等公民，是业务应用程序排出的废气或副产品。这种应用优先的思维方式仍然是当今计算环境中问题的主要根源，它导致了临时数据管道、拼凑的数据访问机制以及相似但不同的真相的不一致来源。Data Mesh 从根本上改变了我们与数据之间的关系，从而迎刃而解了这些缺陷。数据和对数据的访问不再是次要的副产品，而是与其他业务服务同等重要的一等公民。

重要的业务数据需要随时可靠地作为构件基元提供给您的应用程序，无论您的应用程序的运行时间、环境或代码库如何。我们将数据视为一等公民，配备专门的所有权、最低质量保证、服务水平协议（SLA）和可扩展机制，以实现干净可靠的访问。事件流是提供此类数据的理想机制，它提供了一种简单而强大的方式，在整个组织内可靠地交流重要的业务数据，使每个消费者都能访问和使用他们所需的数据基元。

在本章中，我们将看看形成我们今天常用的操作和分析工具及系统的力量，以及与之相伴的问题。当代数据架构的巨大低效为我们提供了丰富的经验，我们将把这些经验应用到我们的事件驱动解决方案中。这将为下一章我们谈论整个 Data Mesh 奠定基础。

什么是 Data Mesh？

Data Mesh是由 Zhamak Dehghani 发明的。它是在数据创建、访问和跨组织共享方式上的一种社会和技术转变。Data Mesh 提供了一种通用语言，用于讨论不同团队、领域和服务的需求和责任，以及它们如何合作使数据成为一等公民。本章将探讨构成 Data ...