构建事件驱动的数据网格

第 5 章. 自助服务数据平台

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

自助式数据平台可让所有 Data Mesh 用户轻松发现、使用、发布、管理和保护数据及数据产品。我们已经介绍了该平台的一些组成部分：提供事件流的事件代理、跟踪重要元数据的元数据存储以及管理数据产品访问的访问控制。在本章中，我们将介绍自助服务平台的功能，从最小化开始，到理想化结束。

有几个重要的首要问题尚待解决：潜在消费者如何发现可用的数据产品？一旦发现，他们如何将其插入现有的应用程序和分析中？他们如何在数据产品之上构建新的应用程序？同样，数据产品发布者的工作流程是怎样的？他们如何管理数据产品并与客户实际沟通？自助服务平台必须为上述每个问题提供简化的解决方案。

自助式数据平台部分由企业中已在使用的组件组成，部分由您需要构建或购买的组件组成。例如，您可能已经有一个跟踪重要数据集的元数据目录，您也可以用它来跟踪数据产品元数据。您可能正在使用 Docker 映像部署应用程序，在 Kubernetes 上运行它们，并使用基于云的监控服务对它们进行监控。但是，您可能缺乏流处理框架、连接器系统和工作流标准化来启动和运行 Data Mesh。您所拥有的和您所缺乏的与其他人所拥有的会有所不同，因此最好将重点放在核心需求上，以确定需要努力的方向。

Data Mesh 自助服务平台的核心是简单的粘合代码，它将贵组织使用的各个组件和子平台粘合在一起。它简化了团队、人员和服务的流程，使 Data Mesh 成为现实。虽然我意识到这种描述可能有点不切实际，但现实情况是，每个组织的 Data Mesh 都深受现有系统、流程、管理、人员、团队和技术的影响。贵组织的自助服务平台将是独一无二的，但会有一些共同的主题，我们将在本章中介绍：身份、发现、验证、授权、管理、通信和计算。

在本章中，我们将介绍数据 Mesh 自助服务平台应具备的所有重要功能--而且我们将非常务实地介绍这些功能。构建 Data Mesh 最重要的一点是，你可以在短期内获得好处，测试、尝试和重申哪些有效，哪些无效。为此，我们将把数据 Mesh 的方法拆分为三个层次的成熟度模型，重点在于迭代地构建和改进自助服务功能，同时还能获得真正的业务价值。

自助服务平台成熟度模型

自助服务平台的成熟度主要分为三个级别。

我的一位同事经常把建立自助服务平台称为 "一边开飞机一边造飞机"，这是有道理的：就像软件领域的大多数事情一样，我们希望把它作为一个最小的项目来启动和运行，这样我们就能开始从中获得价值：

第 1 级：最小可行平台（MVP）

定义了拥有一个功能合格的平台所需的最低 投资。这种模式将帮助您从现有的数据产品中获得直接价值，同时也提供了一个获得反馈和计划迭代改进的机会。

第二级：扩展平台 (EP)

定义了一个更强大的 和具备生产能力的自助服务平台，弥补了 MVP 的许多不足。Data Mesh 用户操作更加简化，并与平台集成，从而大大减少了人工出错的空间。

第三级：成熟平台 (MP)

定义了全面开发和集成的 平台。用户可以轻松地发现、发布、管理、发展和删除数据产品。数据产品可以毫不费力地为操作和分析应用提供动力。

这些成熟度级别并非福音，您不需要在一个级别完成所有工作后再进入下一个级别。您自己平台的构建和演进过程将与本章所述类似，但会根据您的起点、业务需求和独特的管理要求而有所不同。

在下面的章节中，我们将更详细地介绍其中的每一个级别。我们将对平台级别进行评估，找出优势和不足，并讨论如何逐步解决不足之处。 ...