Skip to Content
Data Mesh
book

Data Mesh

by Zhamak Dehghani
May 2025
Intermediate to advanced
386 pages
4h 14m
Chinese
O'Reilly Media, Inc.
Content preview from Data Mesh

第 10 章 多平面数据平台架构 多平面数据平台架构

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见:translation-feedback@oreilly.com

存在的真正真相被封存起来,直到经历了许多曲折的道路。

鲁米

上一章 介绍了多平面数据平台,这是数据 Mesh 架构的一个高级组件。在这一高级架构与实际实施之间,还有许多问题有待解答。究竟要购买或构建哪些技术?如何评估这些技术?如何集成这些技术?

本章将为您提供一个框架,您可以根据自己的组织和可用技术堆栈来回答这些问题。它举例说明了什么是平台,帮助你开启创意之旅。它将为您指明一条曲折的道路,让您发现什么才是适合您组织的真理。

现在,您已经对 Data Mesh 平台的概念有了一定的了解,并有了描述它的语言。

第 4 章介绍了该平台:

可互操作的领域无关服务、工具和应用程序接口的集合,使跨职能领域团队能够以较低的认知负荷自主生产和消费数据产品。

第 9 章提出了一种多平面平台,可根据平台服务的运行范围区分不同类别,而不进行严格的分层。

该平台的三个平面 包括

数据基础设施(公用设施)平面
原子 服务,用于配置和管理存储、管道协调、计算等物理资源。
数据产品经验平面
更高级别的抽象服务,可直接与数据产品一起运行,使数据产品生产者和消费者能够创建、访问和保护数据产品,以及在数据产品上运行的其他操作。
网格体验平面
对相互连接的 Data Mesh 数据产品进行操作的服务 ,如搜索数据产品和观察数据产品之间的数据脉络。

平台的消费者(数据产品开发者、消费者、所有者、管理职能部门等)可直接访问所有这些平面。

图 10-1展示了平台 平面及其用户角色。

图 10-1. 多平面自助服务平台和平台用户

网格体验平面优化了需要操作、管理和查询整个网格的人员的体验。例如,治理团队成员和数据产品所有者与该平面中的服务进行交互,以评估策略的当前状态、监控 Data Mesh 的总体运行状况并搜索现有数据产品。数据产品消费者和提供者在需要处理数据产品集合(如搜索、浏览或通过线程和日志进行调试)时也会使用该平面。

数据产品消费者 和提供者主要与数据产品体验平面交互,以发现、学习、理解、消费、构建和维护数据产品。数据产品体验层针对数据产品的交付和消费进行了优化,数据产品是消费者和提供者之间交换价值的单位。在较低程度上,他们可能会使用基础架构 平面中的服务,通常是在数据产品体验平面尚未提供所需服务的情况下。例如,某个数据产品可能希望通过图形查询语言公开其输出端口,但数据产品体验计划还不支持将其作为打包的输出端口实现。在这种情况下,数据产品开发人员可以直接使用基础架构 服务来配置图形查询引擎,然后将其连接到输出端口实现。理想情况下,他们的图形查询输出端口实现稍后会被采集并内置回平台支持的标准输出端口中。

Data Mesh 平面在访问其服务时不会对 进行严格的分层。数据产品体验平面为数据产品提供一系列操作,并管理配置其底层基础设施的复杂性。但它并不打算严格阻止平台用户访问基础设施平面。它只是要让数据产品的操作变得如此简单,以至于领域团队不会有任何动力直接与基础架构服务打交道。

数据产品体验平面优化用户 体验,而数据基础架构实用平面则确保优化资源的性能和利用率。实用平面进行优化,以充分利用底层基础设施提供商提供的存储、计算、协调等资源。它使数据产品体验平面适应底层物理托管环境。它是围绕底层资源及其用户组织的,其中大部分是构建其他平面的平台工程师。许多数据基础设施平面服务与操作系统共享。 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

Data Mesh

Data Mesh

Zhamak Dehghani
Data Mesh

Data Mesh

Zhamak Dehghani
Foundations of Data Mesh

Foundations of Data Mesh

Chris Ford, Arne Lapõnin

Publisher Resources

ISBN: 9798341656864