构建事件驱动的数据网格

第 11 章 将一切融为一体

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

Data Mesh 基于四项原则，是在处理难以使用的数据时汲取的宝贵经验，这些数据通常只是操作应用程序排出的废气。在原始数据源之外获取和访问数据的机制通常是事后添加的，以一种临时的方式附加到源系统上。

Data Mesh 将数据推广到产品，其严谨性、所有权和功能管理与业务中的任何其他产品相同。自由发挥、"自己想办法 "的数据访问被专门构建、维护和支持的模式所取代。这既是一种社会转变，也是一种技术转变，需要自上而下和自下而上的认同。我们要重新评估我们拥有、创建、发现和访问数据的方式，然后建立使其发挥作用所需的流程、管理和技术。

事件流是实现 Data Mesh 的首要选择。它们为历史数据和实时数据通信提供了一种单一的机制，形成了数据 Mesh 的基本构件，供消费者根据自己的需要使用、混合和匹配。

Data Mesh 基于四大原则：领域所有权、数据即产品、联合治理和自助服务平台。这些原则共同帮助我们专注于在整个组织内安全、有效、大规模地交流重要的业务数据：

域名所有权

最了解数据的人负责将数据随时提供给同行和同事，供他们使用和访问。域所有者与潜在用户协商，以确定数据需求来源，并确保满足业务需求。他们仍负责保护内部领域模型，使其不被过度暴露，也不被外部各方以不可接受的程度耦合，从而使内部模型和外部数据产品都能独立发展和变化。

作为产品的数据

重要的业务数据需要作为构建块基元随时可靠地提供给您的应用程序，无论您的应用程序的运行时间、环境或代码库如何。为了实现这一目标，我们可以专注于将数据作为产品来创建，将数据作为一等公民来对待，并配备专门的所有权、最低质量保证、服务水平协议以及可扩展的机制，以实现干净、可靠的访问。

数据产品是组成业务服务的基本构件，使消费者能够根据自己的使用情况访问和使用数据。

联合治理

联邦治理关注的是维持稳定和秩序，平衡个人自治和自上而下的集中控制。

治理团队由参与 Data Mesh 的人员组成，有权满足领域所有者、数据产品创建者、数据产品用户和基础设施提供者的需求。与任何形式的有效政府一样，治理团队需要参与、代表、辩论和协作行动，以完成有意义的工作。管理团队负责指导自助服务平台的需求，重点是提高可发现性、易用性以及与其他数据产品的互通性。

成功的联合治理会带来易于构建、管理和使用的数据产品。数据产品所有者应该有合理的选择，以便在自助服务平台中构建和管理他们的数据产品。此外，还应为他们提供护栏，以支持必要的非功能性业务需求，如加密、访问控制和自动数据保留管理。

自助服务平台

正如每个 Data Mesh 实施都将独一无二一样，其自助服务平台也将独一无二。创建自助服务平台的主要目标包括使其易于：

• 浏览、发现和搜索可用的数据产品

• 授予、限制和管理访问控制

• 申请计算、存储和服务组件，包括事件流

• 管理数据产品生命周期，包括原型设计、发布、废弃和删除

构建自助服务平台需要与数据产品所有者和联合治理团队密切合作。要想取得成功，最好的办法就是从由已在使用的技术和控制系统组成的最小可行产品开始。像对待其他产品一样对待自助服务数据平台，随着使用模式和需求的逐渐清晰，不断添加和测试新功能。

数据 Mesh 的事件流

事件是一种不可更改且自成一体的事件记录。事件流是一个持续更新的事件数据结构，每个事件流都代表一些重要的业务事实。

事件流是提供数据产品的理想机制，因为它提供了一种简单而强大的方式，在整个组织内可靠地传递重要的业务数据。事件流具有快速、可扩展和高效的特点，能让消费者在新数据出现时就知道何时可用，并能在任何用例中对整个业务做出实时反应。 ...