Data Mesh

第 1 章 数据网格简述

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

正如我的老主人常说的 "简单思考"--意思是用最简单的语言将整体还原为部分，回到最初的原则。

弗兰克-劳埃德-赖特

Data Mesh 是一种去中心化的社会技术方法，用于在复杂的大规模环境中--组织内部或跨组织--共享、访问和管理分析数据。

Data Mesh 是为大规模分析用例寻找、管理和访问数据的一种新方法。我们把这类数据称为分析数据。分析数据用于预测或诊断用例。它是提供业务洞察的可视化和报告的基础。它用于训练机器学习模型，通过数据驱动的智能来增强业务。它是组织从直觉和直觉驱动的决策转变为基于观察和数据驱动的预测采取行动的基本要素。分析数据是未来软件和技术的动力。它实现了从人类设计的基于规则的算法到数据驱动的机器学习模型的技术转变。分析数据正日益成为技术领域的关键组成部分。

备注

本书中的数据一词，如果没有限定，指的是分析数据。分析数据服务于报告和机器学习训练用例。

成果

要想在复杂的大规模组织中大规模地从数据中获取价值，就必须通过数据 Mesh 集来实现这些成果：

• 从容应对变化：企业的基本复杂性、波动性和不确定性

• 面对增长保持 Agile

• 提高数据价值与投资的比率¹

转变

Data Mesh 从早期的分析数据管理方法中引入了多维的技术和组织转变 。

图 1-1总结了与过去的方法相比，Data Mesh 带来的转变。

Data Mesh 要求我们从根本上转变组织的假设、架构、技术解决方案和社会结构，转变我们管理、使用和拥有分析数据的方式：

• 在组织上，它从由运行数据平台技术的专家集中管理数据所有权，转变为分散的 数据所有权模式，将数据所有权和责任推回到产生或使用数据的业务领域。

• 在架构上，它从在单体仓库和湖泊中收集数据转变为通过标准化协议访问的分布式数据产品网状结构连接数据 。

• 在技术上，它从将数据作为运行管道代码的副产品的技术解决方案，转变为将数据和维护数据的代码作为一个活泼自主的单元的解决方案 。

• 在操作上，它将数据治理从人为干预的自上而下的集中式操作 模式转变为计算策略嵌入 Data Mesh 上节点的联盟模式。

• 主要而言，它将我们的价值 系统从作为资产收集的数据转向作为产品服务和取悦数据用户（组织内部和外部）的数据。

• 在基础设施方面，它将 从两套分散的、点对点的集成基础设施服务--一套用于数据和分析 ，另一套用于应用程序和运行 系统--转变为一套用于运行和数据系统的集成良好的基础设施 。

图 1-1. 数据 Mesh 的变化维度

自从我在最初的博文（由Martin Fowler 好心主持的 ）中介绍 DataMesh 以来，我注意到人们一直在努力对这个概念进行分类。Data Mesh 是一种架构吗？它是一份原则清单吗？它是一种运营模式吗？毕竟，我们依靠对模式的分类²作为了解世界结构的主要认知功能。因此，我决定将 Data Mesh 归类为一种社会技术范式 ：这是一种认识到复杂组织中人与技术架构和解决方案之间相互作用的方法。这是一种数据管理方法，不仅能优化分析数据共享解决方案的卓越技术，还能改善所有相关人员（数据提供者、用户和所有者）的体验。 ...