詳解 データレイクハウスアーキテクチャ ―Delta Lakeを使ったデータAI活用とガバナンス
by Denny Lee, Tristen Wentling, Scott Haines, Prashanth Babu, 長谷川 亮, 倉光 怜, 小谷 尚太郎, 竹下 俊一郎
6章Delta Lakeを利用したネイティブアプリケーションの構築
R. Tyler Croによる執筆
Delta LakeはもともとJavaプラットフォーム上で開発されたが、プロトコルがオープンソースになったことで、現在ではさまざまなプログラミング言語で実装されている。そのため、Apache Sparkを使わずにDelta Lakeをネイティブアプリケーション内で利用できる新しい可能性が生まれた。Sparkベースのオリジナル実装を除くと、Delta Lakeプロトコルの実装として最も成熟しているのはdelta-rs(https://oreil.ly/ZtPkY)であり、Python(https://oreil.ly/jx3HV)とRust(https://oreil.ly/dyRZm)ユーザ向けにdeltalakeというライブラリを提供している。
本章では、これらのライブラリを使い、PythonまたはRustでDelta Lakeテーブルを読み込み、クエリを実行し、書き込みを行うネイティブアプリケーションを構築する方法を学ぶ。その過程で、Delta LakeをサポートするPythonとRustエコシステム内のさまざまなツールについても確認し、データアプリケーション構築において柔軟性とパフォーマンスを得る方法を説明する。SparkベースのDelta Lakeとは異なり、deltalakeライブラリには特別なインフラ要件はなく、コマンドライン、Jupyter Notebook、AWS Lambdaなど、Pythonまたはコンパイル済みRustプログラムが実行可能なあらゆる環境で簡単に動作する。ただし、この非常に高い可搬性(ポータビリティ)と引き換えに、「クラスタ」が存在しないため、一般的にネイティブDelta ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access