解読 データアーキテクチャ ―モダンデータウェアハウス、データファブリック、データレイクハウス、データメッシュの選び方

11章データファブリック

データファブリックアーキテクチャは、モダンデータウェアハウス（MDW）アーキテクチャの進化形です。MDWの上に構築された高度なレイヤーであり、データのアクセス性、セキュリティ、ディスカバラビリティ（発見可能性）、可用性を向上させます。データファブリックが企業全体に広がり、あらゆるデータを蓄積し、社内外を問わず必要な人すべてにデータを提供している様子をイメージしてみてください。データファブリックは、データのサイズや、速度、種類を問わず、あらゆるデータを活用できるアーキテクチャです。データファブリックの哲学において最も重要な点は、データファブリックソリューションが組織内のすべてのデータを消費可能にするという考え方にあります。

これが筆者による定義ですが、業界ではさまざまな定義があります。中には、モダンデータウェアハウスと同義で用いるケースもあります。たとえば、コンサルティング会社のガートナーは、同様の定義（https://oreil.ly/fan_P）から出発し、データファブリックについて次のように記述しています。

データとプロセスを統合するレイヤー（ファブリック）として機能する設計概念。データファブリックは、既存の、発見可能な、推論されたメタデータ資産に対する持続的な分析を行い、ハイブリッドやマルチクラウドプラットフォームなど、すべての環境において、統合され再利用可能なデータの設計・配備・活用を支援します。

ガートナーの見解が筆者の見解と異なるのは、データ仮想化（6章参照）を重視する点にあります。ガートナーは、サイロ化されたシステムからデータ移動・コピーする必要性を軽減するデータファブリックの主要機能として、データ仮想化を位置付けています。さらに、ガートナーは、ナレッジグラフやAI・機械学習を活用して、データディスカバリーやカタログの自動化、データ間の関係の発見、データのオーケストレーションと統合、メタデータの自動検出を実現する「インテリジェントデータファブリック」を構想しています。ただし、現時点ではこれらのテクノロジーの多くがまだ実用化されておらず、ガートナーの定義を完全に満たすデータファブリックも存在しません。将来的な進化に期待しつつも、現時点では既存のデータファブリックアーキテクチャに注力することを推奨します。 ...