Data Mesh

第8章. 変曲点の前に

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

今日の問題は、昨日の "解決策 "から生まれている。

ピーター・M・センゲ『第五の規律

組織 の複雑さ、データソースの急増、データへの期待の高まり：これらは、分析データ管理への既存のアプローチにストレスを与える力である。我々の既存のメソッドは、マシンのスケーリングにおいて目覚ましい進歩を遂げてきた。惑星規模の分散データストレージで様々なタイプのデータを大量に管理し、ストリームを通じて高速データを確実に伝送し、データ集約的なワークロードを同時かつ高速に処理する。しかし、我々のメソッドには、組織の複雑さと規模（ヒューマン・スケール）に関して限界がある。

この章では、データアーキテクチャの現状、その基本的な特徴、そして将来に向けてデータアーキテクチャが私たちを制限する理由を簡単に紹介する。

分析データアーキテクチャの進化

ビジネス上の意思決定をサポートする従来のアナリティクスから、MLで強化されたインテリジェントな製品に至るまで、新たな消費モデルに後押しされた変化である。分析データテクノロジーの数は加速度的に増加しているが、ハイレベルなアーキテクチャにはほとんど変化が見られない。ハイレベルな分析データアーキテクチャを概観し、その不変の特徴を確認してみよう。

注

以下の各アーキテクチャパラダイムを支える基盤技術は、何度も反復と改良を繰り返してきた。ここでの焦点はアーキテクチャパターンであり、技術や実装ではない。

第一世代データウェアハウスのアーキテクチャ

データ 今日のウェアハウジングアーキテクチャは、1960年代に策定されたファクトやディメンジョンといった初期の概念に影響を受けている。このアーキテクチャは、データを演算子システムからビジネスインテリジェンス (BI) システムに移行することを意図している。BIシステムは従来、組織の運用計画を管理する役割を担ってきた。データウェアハウジングソリューションは大きく進化したが、そのアーキテクチャモデルの当初の特徴や前提の多くは変わっていない。データは

• 多くの演算子データベースやソースから抽出される。

• 普遍的なスキーマに変換される-多次元かつ時変の表形式で表現される

• 倉庫のテーブルにロードされる

• SQLのようなクエリでアクセスする。

• 主にデータアナリストを対象とし、レポーティングや分析の可視化を行う。

データウェアハウスアプローチはデータマート（ ）へと改良されてきたが、データマートは組織内の単一部門にサービスを提供するのに対し、データウェアハウスは複数の部門を統合した大規模な組織にサービスを提供するという共通の違いがある。そのスコープに関係なく、アーキテクチャモデリングの観点からは、両者は類似した特徴を持っている。

組織規模のデータウェアハウスが可能な単一のテクノロジーを作成することの難しさとコストのために、エンタープライズデータウェアハウスソリューションは、しばしば独占的で高価であり、使用するには特殊化が必要である。そのうちに、何千ものETLジョブ、テーブル、レポートが含まれるようになり、特殊化したグループだけが理解し、維持できるようになる。その古さと起源を考えると、CI/CDのような最新のエンジニアリング手法に適していないことが多く、長期にわたって技術的負債が発生し、メンテナンスコストが増大する。この技術的負債から逃れようとする組織は、データウェアハウス・ソリューションから別のソリューションへ移行するという永久サイクルに陥ってしまう。 ...