Data Mesh

序言：想象数据网格

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

想象力常常会把我们带到从未有过的世界。但没有想象力，我们将一事无成。

卡尔-萨根

每一家成功的公司背后都有三家失败和被遗忘的公司。这是一个失败者多于幸存者的比例。¹在人工智能时代，那些屹立不倒并处于领先地位的公司破解了复杂性的密码，将数据驱动的实验植入业务的方方面面，根据快速学习的结果不断变革，并与机器智能合作，以超越人类的逻辑和推理来理解现实，这绝非巧合。

达夫公司²是一家虚构的全球音乐和音频流媒体公司、³就是这样一家公司的典范。Daff 成功地实现了自己的使命："在生活的每一个时刻，将全球的艺术家和听众连接在一起，享受身临其境的艺术体验"。在达夫的使命背后，是公司对数据、分析和机器智能的殷切期望，通过一种被称为Data Mesh 的方法来实现。Data Mesh 是达夫数据战略、架构和运营模式的支柱，为他们提供了利用数据和机器学习（ML）进行实验、学习和适应的规模和速度。

我想与大家分享的是 Daff 实施 Data Mesh 后的故事。通过 Daff 的故事，你将了解到 Data Mesh 的精髓。您将看到 Data Mesh 原理的应用、其优势的展示、其架构的运行，以及组织结构的建立和运行。

我发现，介绍 Data Mesh 这种复杂现象的最佳方式是举例说明。不过，现在描述一个拥有成熟数据网格的公司的例子还为时过早，因为我们目前正在建立第一批数据网格。因此，我描述的是一个虚构的组织，它展现了我期望在几年后看到的特征。虽然我们并不指望现实会符合我们的想象，但我们对正在努力实现的目标的愿景是理解我们正在努力实现的目标的重要组成部分。为了更好地表达这幅图景，我将按照自己的想象来写这家虚构的公司，并将其刊登在商业媒体上。

在我讲述故事的过程中，我会为你留下脚注，以便你能找到后面的章节，深入了解我在这里简要介绍的方方面面。不过，我的目的是让你和我一起留在故事中，只有在你读到本序言的结尾时，才会飞往后面的章节。

行动中的 Data Mesh

现在是 2022 年。

Daff 坚持不懈地利用机器学习提升用户体验，其高级用户数量增长强劲。该公司仍然是最受喜爱的功能丰富的平台之一，它利用数据来个性化沉浸式体验、策划庞大的内容库，并接触到新的和正在崛起的艺术家。达夫不断发展，增加了新的服务，并扩展到流媒体播客、视频和组织活动等邻近领域。如今，Daff 的业务几乎遍及全球每一个国家，其本地和全球业务合作者（从活动和艺术场所到健身平台）生态系统不断壮大。

在过去三年里，达夫将管理和使用分析数据的方式转变为一种名为Data Mesh 的方法。Data Mesh 是一种从大规模分析数据中获取价值的新方法，它使数据和业务比以往任何时候都更加紧密地结合在一起。

达夫已经部署了复杂的机器学习模型，这些模型不断利用组织内部和外部的各种不断变化的数据集中的模式。达夫根据听众的口味、情绪、时间和地点为他们提供专门的推荐。他们利用数据为艺术家提供有针对性的活动，帮助他们扩大影响力。通过业务分析、仪表盘、报告和可视化，他们掌握了自适应业务的实时脉搏。这只是达夫如何从数据中获得价值的冰山一角。

让我们到达夫走一走，看看他们是怎么做的。

数据好奇心和实验文化

达夫最显著的变化之一是无处不在的文化，它敢于执着地问 "如果......会怎样"：如果我们能做出改变，让事情变得更好一点会怎样？有这样一种文化：执着地进行实验、观察结果、分析数据、理解数据、从中学习并做出调整。 ...