メダリオンアーキテクチャの構築

序文

メダリオン・アーキテクチャーには愛憎がある。これほど単純なことが、どうしてこの業界でこれほど混乱と議論を引き起こすのだろう？なぜ皆、定義が違うのだろう？なぜこのような概念が必要なのか？そして最も重要なことは、なぜ気にする必要があるのか？

私は、社内のビジネス・インテリジェンス開発者として10年近くを過ごした後、社外のコンサルタントに転向した。クラウドフレンドリーなアーキテクチャを作成するためにシングルボックスのSQL Serverと格闘し、それがいかに単純にフィットしないかを目の当たりにしたことで、私は2015年にデータレイクと分散コンピューティングの爆発的な台頭を受け入れることになった。

それ以来、私の使命は明確だ。私たちのアプローチを統一し、過去から学び、時代遅れの伝統にしがみつくことなく進化すること。メダリオンアーキテクチャは、その構想を伝えるための素晴らしいツールだ。私はAdvancing Analyticsで、世界中の企業がデータの真の可能性を解き放つ手助けをしている。「より速く、より安く」を超えて、進化するビジネスがすでに持っているデータによって可能になる新しい方法で仕事ができるようにするためだ。私はMicrosoftやDatabricksのような業界の巨人に助言し、明日のツールと戦略を形成し、世界的な会議やイベント、Advancing AnalyticsのYouTubeチャンネルでデータアーキテクチャについて話すことに多くの時間を費やしている。

私は、巨大なグローバル小売企業、技術に精通したデジタル・スタートアップ、モノリシックな規制金融サービス、そしてその間にあるあらゆるもののアーキテクチャを設計してきたが、それらの設計には非常に多くの共通点があると喜んで言える。結局のところ、それらはすべてデータを抽出し、データをクリーニングし、アナリティクスを実行しているのだ。もしあなたが従来のウェアハウスから移行しようとしているのであれば、あるいはビッグデータの混沌から抜け出そうとしているのであれば、心配する必要はない。あなたが始めようとしている旅は、十分に歩き尽くされ理解されており、私やPietheinのような豊富な専門家が助けてくれる。

私たちは、データレイクの世界で何らかの標準を持つために、徹底的に戦った。メダリオンアーキテクチャは、まさにデータレイクを使ったプラットフォーム構築のための設計標準だ。このような新しい概念は難解で、高度に特殊化された技術者のものだと思われるかもしれない。しかし、間違いではない。これらは、最新のデータプラットフォームを構築する方法の中心となっているのだ。かつてリレーショナルデータベースと強く結びついていたMicrosoftでさえ、Microsoft Fabricでレイクハウス構想に重きを置いている。データやアナリティクスに携わるのであれば、Medallionアーキテクチャを理解することはオプションではない。

実際、メダリオンアーキテクチャは素晴らしい概念だが、広く誤解されている。実際には、進化する状況を理解するための柔軟なアプローチであるにもかかわらず、硬直した、ステップバイステップのフレームワークとして扱われることがあまりにも多い。10年にわたる有機的な進化と技術革新を、非技術系ユーザにも理解できる概念に単純化しようとする試みなのだ。しかし、単純化には代償が伴う。それは、議論や誤った解釈、フラストレーションのために大きな溝を残すことだ。

本書は、Medallionアーキテクチャを採用するための手引書として、誇大広告や大げさな表現に切り込み、なぜ特定のパターンを使うのか、どのように実装するのかを説明する。しかし、この混乱はどこから来て、なぜMedallionアーキテクチャが必要なのだろうか？これを理解するためには、歴史を覗いてみる必要がある。 ...