メダリオンアーキテクチャの構築

第11章. メダリオンアーキテクチャを拡張する

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

第1部と第2部では、単一のMedallionアーキテクチャの構築に焦点を当てた。しかし、現実の世界では、組織はさまざまなチームやデータドメインの多様なニーズを満たすために、複数のMedallionアーキテクチャを管理することが多い。これは単なる憶測ではなく、実際に企業で経験を積んだ人なら誰でも知っている事実である。組織が拡大するにつれて、より多くのデータ、より多くのユーザ、より多様なユースケースをサポートするために、データ管理を拡張しなければならなくなる。そのため、企業では、画一的な集中型ソリューションではなく、分散型アーキテクチャを採用するのが一般的だ。

しかし、そこには議論がある。テクノロジー、組織、ガバナンスのあらゆる面で完全な分散化を推し進める専門家もいる。しかし、それは必ずしも最善のアプローチではない。分権化には複雑さがあり、特にプロセスや監視の管理は難しい。重要なのは適切なバランスを取ることであり、分権の度合いは組織によって異なるからだ。このテーマをより深く掘り下げるために、以下の2つのトピックを探求する：

1. 複数のMedallionアーキテクチャを使用した分散型データ管理によるスケーリング。

2. マスターデータ管理（MDM）やエンタープライズデータモデルなどのトピックを含む、Medallion内部アーキテクチャのバリエーションによるスケーリング。

この章が終わるころには、Medallionアーキテクチャを効果的に拡張し、同じ組織内で複数のMedallionアーキテクチャを管理する方法を明確に理解しているだろう。第12章では、連携アーキテクチャにおけるデータガバナンス、データコントラクト、データセキュリティについて説明する。

データ管理の分散化

章と 6章では、データメッシュの概念を紹介した。このデザインパターン は、データの所有権とアーキテクチャの分散化に焦点を当てている。これは、組織が大規模なデータ管理を行う際に直面する課題の解決策として登場した。中央のIT部門から事業部門に責任を移し、事業部門がより効果的にデータを管理できるようにする。この演算子のシフトを図11-1に示す。

図11-1. データメッシュの実装は、中央のIT部門からビジネス部門への責任転換を意味する。

図11-1の上部では、伝統的なセントラルオペレーションモデルを見ることができる。ここでは、中央のIT部門が、オペレーティングシステムの管理、取り込み作業、ステージング、クリーニング、データ変換、データ製品の作成、共有など、データ管理の全段階を担当する。一方、ビジネス部門はデータ利用のみを担当する。

図11-1の下段は、データメッシュの本質を体現するFederated Operation Modelを強調している。このモデルでは、ビジネスユニットまたはビジネスドメインが、特に取り込みタスク、ステージング、クリーニング、データ変換、データ製品の作成において、より多くの責任を負う。中央のIT部門は依然として重要な役割を果たしているが、複雑なオペレーティングシステムを維持し、ビジネスドメインに中央データ管理サービスを提供することに ...