Data Mesh

序言

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

Data Mesh 是一种推动力，使我们在如何处理数据方面走上了一条新的轨迹：我们如何想象数据，如何捕获和共享数据，以及如何在规模化分析和人工智能领域从中创造价值。这一新轨迹将我们从数据的集中化及其所有权转向分散化模式。这条新路拥抱我们组织的复杂性、快速变化和持续增长。它旨在使组织能够大规模地从数据中获得价值，尽管存在混乱和组织复杂性。

回顾我们这个行业的历史，我们曾经受到过启发。Unix 的诞生及其 "编写只做一件事的程序并把它做好。编写协同工作的程序...... "也许正是这只蝴蝶扇动翅膀，为我们几十年后通过分布式架构、面向服务的设计、通过标准应用程序接口进行通信以及自主领域团队组织等方式解决软件核心问题的复杂性创造了条件。我希望 Data Mesh 为在最需要它的领域--分析和人工智能--中解决数据核心复杂性的新道路创造条件。

我是在 2018 年提出数据 Mesh 这一论点的，因为我观察到，在那些对数据技术进行了大量投资的大型企业和技术领先企业中，从数据中获取价值的常见失败模式。观察到他们在扩展数据管理解决方案和组织以满足其雄心勃勃的数据愿望方面所面临的困难，我对几十年来我们如何从数据中获取价值的假设提出了质疑：我们收集数据、集中存储数据、让数据团队负责数据，然后将数据释放给不同的用户和用例。我们必须重新审视这些假设。

差不多在同一时间，我在纽约的一次 O'Reilly 会议上分享了 Data Mesh 背后的想法。我将其命名为 "超越湖泊"，因为我正在努力解决技术领域最难解决的问题之一--"命名事物"。尽管我担心会受到严厉的批评，因为我说的是从根本上改变我们对数据的看法的亵渎神明的话，但听众们还是积极地接受了我的演讲。数据用户--数据分析师或科学家--的痛苦是真实的；他们都在为及时获取高质量、可信赖的数据而苦苦挣扎。数据工程师也有同样的苦恼，他们夹在数据提供者和数据使用者之间，试图从不可靠的上游数据中获取意义，并将其转化为其他人可以使用的形式，而这一切都离不开与业务的密切联系。与会的领导者们点头表示，他们的数据和分析解决方案的回报率一般。离开会议时，我对湖面之外的前景更有信心了。几个月后，我错过了在中国举行的为期一周的技术顾问委员会会议。我三岁的女儿在飞离美国的前一晚发烧了。我忍住与生病的孩子分开一周的绝望，登上了飞机，但当飞行员宣布机组人员关闭机舱门时，我崩溃了。我下了飞机。现在，我有一周的时间躲藏起来，把对 Data Mesh 的思考和体会写成了一篇文章，名为《如何超越单体数据湖，实现分布式 Data Mesh》，由马丁-福勒（Martin Fowler）亲切主持。这篇文章非常成功，读者数量惊人，就好像我刚说过的话，其他人就悄悄地想到了。三年过去了，本书深入探讨了为什么要实现 Data Mesh、实现什么以及如何实现 Data Mesh。

我为什么写这本书，为什么现在要写

在数据网格诞生后的短短几年里，它得到了率先采用它的公司的大力支持。它鼓励供应商尝试调整自己的产品，以适应 Data Mesh 的实施。它还创建了一个蓬勃发展的学习社区来分享他们的经验。

尽管发展如此迅速，我写这本书的时间可能比我希望的要早一些。在共享和创建用于分析和机器学习 (ML) 的数据方面，我们仍处于采用一种根本不同的方法的初期。但是，我们的行业有一种倾向，就是将新概念和流行语渗透到人们无法识别的地方。因此，我决定写这本书，为数据 Mesh ...