Data Mesh

第 13 章 设计 发现、理解和组合数据的设计

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

发现、理解和信任数据是数据之旅的必要步骤。Data Mesh 的独特之处在于，如何在一个由相互连接的自主数据产品组成的去中心化网状结构中发现、理解和信任数据，而不产生中心化瓶颈。

同样，从多个现有数据的交叉和聚合中合成新数据是所有数据工作所必需的基本功能。Data Mesh 引入了以分散方式合成多种数据产品的能力，而不会创建成为变革瓶颈的紧耦合数据模型。

本章将简要介绍数据可发现性和可组合性的每种能力。我描述了 Data Mesh 的位置，并介绍了设计方面的注意事项，以便每个数据产品都能在其可发现性、可理解性和可组合性方面发挥局部作用。我将讨论数据产品的这些局部可承受性如何在不产生紧密耦合的同步点的情况下，在许多数据产品中实现网格级功能。

本章描述了 Data Mesh 方法的边界，哪些符合 Data Mesh 的目标，哪些不符合。确切的规格还有待定义和测试，不在本书讨论范围之内。

发现、理解、信任和探索

Data Mesh 将可发现性、可理解性、可信性和可探索性定义为数据产品的一些内在特征。我在第 3 章中简要介绍了这些数据产品的基本可用性特征。这些特性是数据用户能够找到正确数据、理解数据、信任数据并探索数据是否适合当前分析用例的关键。这些特性可以回答以下问题是否有任何数据产品能告诉我一些关于听众的信息？关于听众的数据产品实际提供了哪些信息？我能信任它吗？我能否将其用于具有特定数据要求的特定用例？我如何才能获取它进行早期实验？等等。

我认为到目前为止这一点还没有任何争议。Data Mesh 与当今大多数数据可发现性方法（即数据目录服务）的不同之处在于如何实现这些能力。

在撰写本文时，有两种既定的方法：我将第一种方法称为事后整理和整合。在这种方法中，数据管理员或治理团队成员的任务是事后识别、标记、记录和整合各领域已生成的数据信息。然后，这些经过整理的信息就会成为发现的来源。另一种方法我称之为事后调查智能。这种方法在事后对已经生成的数据进行智能机器观察，以提取元数据。例如，我们可以在大量操作数据上运行算法，通过分析谁访问了某个表、该表的使用范围有多广以及如何使用来确定该表的可信度。这些信息会创建一个数据知识层，对数据的可发现性非常有用。

备注

虽然智能和调查算法有助于 Bootstrap Data Mesh，在实施 Data Mesh 之前发现组织可用的数据，或通过为每个数据产品添加额外信息来帮助 Mesh 的可观测性，但它们还不够。

数据 Mesh 与这两种方法的主要区别在于，它将可发现性左移。数据的可发现性、可理解性等始于数据产品本身，始于数据产品创建之时和整个生命周期。数据产品有责任分享所需的信息，使其自身可被发现、可被理解、可信和可被探索。

Data Mesh 为机器和人的访问设计了可发现性--人可以发现、理解、信任和探索数据产品，机器可以自动实现这些功能，并在此基础上构建高阶能力。例如，Data Mesh 体验平面可以利用每个数据产品提供的发现数据，自动搜索数据产品。

在第 9 章中简要介绍了发现（端口）API 的概念，即发现数据产品的机制。在本节中，我将讨论实现发现端口的几个设计要素，并重点介绍 Data Mesh 与其他方法相比的不同之处。

备注

发现和理解不仅限于本章所涉及的内容。我将在第 14 章的 "观察、调试和审计 "部分进一步讨论。

图 13-1