Data Mesh

第1章. データメッシュの概要

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

私の老師がよく言っていたように、"単純に考えよ"、つまり、全体を最も単純な用語でその部分に還元し、第一原理に立ち戻るという意味だ。

フランク・ロイド・ライト

データ メッシュは、複雑かつ大規模な環境において、分析データを組織内あるいは組織間で共有、アクセス、管理するための分散型社会技術的アプローチである。

データメッシュは、分析ユースケースのためのデータ調達、管理、アクセスを大規模に行うための新しいアプローチである。このクラスのデータを分析データと呼ぼう。分析データは、予測や診断のユースケースに使用される。ビジネスに対する洞察を提供する可視化やレポートの基礎となる。データ駆動型のインテリジェンスでビジネスを強化するマシン学習モデルのトレーニングにも使用される。分析データは、組織が直感や直感に基づく意思決定から、観察やデータに基づく予測に基づく行動へと移行するために不可欠な要素である。分析データは、未来のソフトウェアとテクノロジーを支えるものだ。人間が設計した規則ベースのアルゴリズムから、データ駆動型のマシン学習モデルへの技術シフトを可能にする。分析データは、テクノロジーにおいてますます重要な要素となってきている。

注

本書では、 データという用語は、もし修飾されていなければ、分析データを指す。分析データは、レポーティングやマシン学習のトレーニングに使われる。

成果

複雑で大規模な組織でデータからスケールの大きな価値を得るためには、データメッシュ・セットがこれらの成果を達成する：

• 変化に優雅に対応する：ビジネスに不可欠な複雑性、変動性、不確実性

• 成長に直面してもアジリティを維持する

• データから得られる価値の投資に対する比率を高める¹

シフト

データメッシュは多次元的な技術的・組織的転換をもたらす。 以前の分析的データ管理アプローチとは異なる。

図1-1は、これまでのアプローチと比較して、Data Meshがもたらす変化をまとめたものである。

データメッシュは、組織の前提、アーキテクチャ、技術的ソリューション、社会構造、分析データの管理方法、利用方法、所有方法の根本的な転換を呼びかけている：

• 組織的には、データプラットフォーム技術を運用する専門家による中央集権的なデータ所有から、データの所有権と説明責任を、データが生成され、使用されるビジネスドメインに押し戻す分散型 データ所有権モデルへと移行する。

• アーキテクチャ的には、モノリシックなウェアハウスやレイクでのデータ収集から、標準化されたプロトコル を通じてアクセスされるデータ製品の分散メッシュを通じたデータ接続へと移行する。

• 技術的には、データをパイプラインコードを実行する際の副産物として扱う技術ソリューションから、データとそれを維持するコードを一つの生き生きとした自律的な単位として扱うソリューションへと移行する 。

• 運用面では、データガバナンスを、人間が介入するトップダウンの中央集権的な運用モデル（ ）から、メッシュ上のノードに組み込まれた演算子によるフェデレーション・モデルへと移行させる。

• プリンシパルは、私たちの価値（ ）を、収集すべき資産としてのデータから、データ・ユーザ（組織の内部および外部）にサービスを提供し、喜ばせるための製品としてのデータへとシフトさせる。 ...