詳解 データレイクハウスアーキテクチャ ―Delta Lakeを使ったデータAI活用とガバナンス

1章Delta Lakeにおけるレイクハウスフォーマット

この章では、Delta Lakeの起源と、Delta Lakeが、ペタバイトスケールのシステムにおけるデータ整合性の問題を解決するために設計された経緯を紹介する。もしあなたが、Delta Lakeの歴史をすでに詳しく、それよりもDelta Lakeそのものやその仕組み、Deltaトランザクションプロトコルを知りたいのであれば、次のセクション「1.2　Delta Lakeとは何か？」に進むことをお勧めする。

1.1　Delta Lakeの誕生

このセクションでは、Delta Lakeの進化の歴史を振り返る。その起源とどのような課題からインスピレーションを得て発展してきたか、そして企業の最も重要な資産であるデータの整合性を担保するために、コミュニティに中でレイクハウスフォーマットが採用されるに至った経緯について簡単にたどっていく。Delta Lakeのレイクハウスフォーマットは、従来のデータウェアハウスやデータレイクの限界に対処するために開発された。これは、ACID（原子性、一貫性、分離、耐久性）トランザクション†1とスケーラブルなメタデータ処理を提供し、バッチやストリーミングワークロード、機械学習、SQLといったさまざまなデータ分析タスクを単一のプラットフォーム上で統合している。

[†1] https://ja.wikipedia.org/wiki/ACID_(コンピュータ科学)

1.1.1　データウェアハウス、データレイク、データレイクハウス

データシステム（例えば、高性能コンピューティング〔HPC〕やオブジェクトデータベース）には多くの技術的進歩があった。過去数十年にわたる大量のビジネスデータのクエリと集約に関する技術的進歩を簡単にまとめると、データウェアハウス、データレイク、レイクハウスというキーワードが挙げられるだろう。これらのシステムは、総じてオンライン分析処理（ ...