第四部分. 如何设计数据产品架构
数据产品是 Data Mesh 的核心概念。在架构上 ,它被设计为一个架构量子,称为数据量 子。数据量子封装并实现了所有必要的行为和结构组件,以便将数据作为产品进行处理和共享(第 3 章)。它既能自主构建和运行,又能与 Data Mesh 上的其他数据量子连接。数据量子的互联创建了数据网格的对称和扩展架构。
所有数据产品都有一系列共同的属性,例如,它们从上游来源获取数据、转换数据、提供数据、管理数据等。本书的这一部分讨论了设计这些属性中的每一种属性的有主见的方法。
本书的这一部分围绕 个人承受能力展开。1数据产品的个人承受能力--数据产品的属性与人(或系统)如何与之交互之间的关系。例如,Data Mesh 用户如何发现、阅读或管理数据产品的生命周期,直接与一个数据产品交互。
第 11 章 "根据承受能力设计数据产品 "总结了设计数据产品的方法。第 12 章 "设计数据消费、转换和服务"讨论数据产品如何为不同的用户(程序和人员)提供数据消费、转换和服务。本章讨论了使分布式数据共享系统发挥作用的一系列必要设计限制。第13章 "发现、理解和合成数据的设计 "讨论数据产品如何让用户发现、理解和信任数据。它介绍了数据产品如何提供数据可组合性,以便数据用户以分散的方式创建新类型的聚合数据。第14章 "设计管理、治理和观察数据"涉及数据产品的其余特性,即如何让数据用户治理数据、观察数据和管理数据的生命周期。
第 IV 部分的目的是帮助你识别与 Data Mesh 愿景相适应的设计技术,并将它们与不相适应的设计技术区分开来。这并不是一本如何实现数据产品的手册。对每种承受能力的讨论将涵盖它是什么、为什么重要以及数据网格方法的特点是什么。
与第三部分类似,这里的讨论将保持与技术无关,不过我为每种承受能力介绍的设计特征将引导你选择与 Data Mesh 兼容的技术。例如,转储管道和智能过滤器的原理相当于数据产品的哑管道和智能端点,这将引导你选择一种不强制使用数据处理管道来控制数据产品之间数据流的技术。
首先,我们来看看作为架构量子的数据产品设计的整体方法。
1唐-诺曼(Don Norman)在他的著作《日常事物的设计》(The Design of Everyday Things)中对 "能力 "做出了定义。
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access