詳解 データレイクハウスアーキテクチャ ―Delta Lakeを使ったデータAI活用とガバナンス

9章レイクハウスのアーキテクチャ設計

エンジニアリングを成功させるには、明確なビジョンと目的意識（何をするのか、なぜそれが必要なのか）が必要であり、同時に、堅牢な設計とアーキテクチャ（ビジョンを実現するための方法）が不可欠である。よく考え抜かれた計画に適切な構成要素（ツール、リソース、エンジニアリング能力）を組み合わせることで、最終的な結果が当初の使命を果たし、規模に応じて優れたパフォーマンスを発揮することができる。Delta Lakeは、エンタープライズ規模のデータレイクハウスの設計、構築、テスト、デプロイ、運用するための鍵となる要素を提供する。

この章の目的は、単なるアイデア、パターン、ベストプラクティスの寄せ集めを提供することではなく、実務的な手引きを提供することである。ここで学んだ教訓が、あなた自身のデータレイクハウスのアーキテクチャを設計するための明確な青写真になるように、適切な情報、推論、メンタルモデルを示している。

レイクハウスの概念が初めての人も、段階的にデータの品質を向上させる「メダリオンアーキテクチャ」に馴染みのない人も、あるいはストリーミングデータを初めて扱おうとしている人であっても、この章を通じてともに学んでいこう。

この章で学ぶ内容は以下の通り。

• レイクハウスアーキテクチャとは何か
• Delta Lakeをレイクハウスアーキテクチャの基礎として使う方法
• メダリオンアーキテクチャ
• ストリーミングメダリオンアーキテクチャ

9.1　レイクハウスアーキテクチャ

エンジニアリングの取り組みを成功させるために明確なビジョンや目的意識が必要であり、最終的な目標が、自分たち独自のデータレイクハウスの基盤を構築することであるならば、まず最初に「レイクハウスとは何か」を定義する必要がある。 ...