メダリオンアーキテクチャの構築

第1章. データアーキテクチャの進化

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

堅牢性の高いデータアーキテクチャの作成は、データ管理において最も困難な側面の一つである。データの収集から変換、配布、最終的な消費に至るデータの取り扱いプロセスは、様々な要因によって大きく異なる。これらの要因には、ガバナンス、使用ツール、組織のリスクプロファイル、規模、成熟度、ユースケースの要件、パフォーマンス、柔軟性、コスト管理などのニーズが含まれる。

このような違いはあるものの、どのデータのアーキテクチャも、いくつかの基本的なコンポーネントで構成されている。私はこれらのコンポーネントについて、以前の著作で紹介した概念である3階層化アーキテクチャの設計という比喩を使ってよく議論する：Data Management at Scale』（O'Reilly）で紹介した概念である。この設計は、組織がデータ管理戦略を概念的には構造化するのに役立つことが証明されている。第一層は様々なデータプロバイダー、第二層は配信プラットフォーム、第三層はデータコンシューマである。さらに、包括的なメタデータ・ガバナンス層は、データアーキテクチャ全体を管理・監督するために極めて重要である。図1-1にこの設計の反映を見ることができる。

図1-1. 階層化アーキテクチャ設計

左から順に、各レイヤーの概要を説明する：

第一層

このレイヤーは様々なデータ・プロバイダーで構成され、データが抽出される多様なソースを表している。この抽出されたデータは、異なる組織にまたがるデータの種類、形式、場所が混在しているのが特徴である。

第2層

このレイヤーはディストリビューション・プラットフォームを表し、利用可能なツールやテクノロジーが膨大にあるため複雑である。組織は、何千とは言わないまでも、何百もの製品やオープンソース・ソリューションの中から、統合のために選択するという困難な課題に直面している。

第3層

このレイヤーはデータコンシューマで構成され、データサービスを消費することを特徴とする。データ・サービスは、ビジネス・インテリジェンス、マシン学習、人工知能（AI）を活用し、予測、自動化、リアルタイムの洞察を提供する。その他のサービスは、基本的なストレージとデータ処理を管理する。この階層には、多種多様なテクノロジーやアプリケーションのタイプが含まれる。ビジネス上の問題ごとにカスタマイズされたソリューションが求められるため、最新のデータアーキテクチャでは両方のタイプのサービスが不可欠となる。

ハイレベル・アーキテクチャの丸めとして、私は通常、メタデータ・ガバナンス層と呼ばれる包括的なレイヤーを議論に描く。この階層は、データアーキテクチャ全体を監督・管理する上で重要な役割を果たす。

特に中間層の内部アーキテクチャ（）に焦点を当てた3階層化アーキテクチャは、組織内のデータプラットフォーム管理の進化を示している。これは、従来のプロプライエタリなデータウェアハウスシステムから、より適応性の高い、オープンソースで分散されたデータアーキテクチャへの大きな転換を示している。この変革は、モダン・データ・スタックと総称されるオープンソースのツールやフレームワークのコレクション（ ...