解読 データアーキテクチャ ―モダンデータウェアハウス、データファブリック、データレイクハウス、データメッシュの選び方

はじめに

筆者はIT分野で40年近くの経験を有しています。さまざまな規模の企業に勤務し、コンサルタントとして活動したほか、自身の会社を経営したこともあります。直近9年間はMicrosoftでデータアーキテクトを務め、この15年間はデータウェアハウジングに携わってきました。さらに、顧客や多様な組織を対象に、データに関する講演を数千回にわたり行ってきました。

これまでのキャリアで、数多くのデータアーキテクチャの流行り廃りを目にしてきました。その過程で、多くの企業が最適なアプローチについて議論しながらも、結果的に誤ったデータアーキテクチャを構築してしまう場面を数多く見てきました。こうした誤りは、数百万ドル規模の損失や数か月に及ぶ遅延を招き、競合に大きく後れを取る要因となります。

さらに、データアーキテクチャは非常に複雑です。実際、多くの人がその概念を十分に理解していなかったり、理解していても明確に説明できなかったりする場面を数多く見てきました。データメッシュ、データウェアハウス、データレイクハウスといった用語が飛び交っていますが、10人に「データメッシュとは何か」と尋ねれば、11通りの答えが返ってくるでしょう。

では、どこから手をつければ良いのでしょうか。これらは単なるバズワードで、大袈裟な宣伝文句に過ぎないのか、それとも実際に効果を発揮するアプローチなのでしょうか。理論上は魅力的に聞こえますが、果たして実用性はどの程度あるのでしょうか。それぞれのアーキテクチャには、どのようなメリットとデメリットがあるのでしょうか。

本書で取り上げるアーキテクチャのいずれも「誤り」ではなく、それぞれに適切な用途があります。ただし、有効性は特定のユースケースに限られ、すべての状況に適用する万能なアーキテクチャは存在しません。そのため本書では、特定のアーキテクチャを推奨するのではなく、それぞれのメリットとデメリットを客観的に提示することを重視しています。あらゆる選択にはトレードオフが伴い、それを理解することが重要です。過大評価されているからという理由だけで選ぶべきではありません。また、たとえ利用しないアーキテクチャであっても、学べる点は少なくありません。たとえば、データメッシュの仕組みを理解することは、データオーナーシップという概念を考える契機となり、この考え方はあらゆるアーキテクチャに共通して応用できるのです。 ...