詳解 データレイクハウスアーキテクチャ ―Delta Lakeを使ったデータAI活用とガバナンス
by Denny Lee, Tristen Wentling, Scott Haines, Prashanth Babu, 長谷川 亮, 倉光 怜, 小谷 尚太郎, 竹下 俊一郎
5章Delta Lakeのメンテナンス
Delta Lakeのテーブルを長期間効率よく運用していくためには、車やバイクなどの乗り物のメンテナンスと同じような考え方が必要である。例えば、自転車やスクーター、ローラーブレードを利用するとき、タイヤが完全にパンクしてしまうまで放置する人はいない。私たちは普段からタイヤに問題がないか注意し、小さな異常があれば早めに対応するはずである。「タイヤに穴が開いていないか?」「空気が少ないだけで済むのか、それとも完全に交換しないといけない状況なのか?」など、状況を見極めて対処している。
Delta Lakeテーブルの管理でも、この考え方がそのまま当てはまる。テーブルの状態を注意深く監視し、問題が見つかったら迅速に対応し、適切な対処を施す。言い換えれば、テーブルのメンテナンスとは「クリーニング(不要なデータを取り除くこと)」「モニタリング(状態の監視)」「チューニング(性能調整)」「修復」「置き換え」のプロセスである。
以下のセクションでは、Delta Lakeが提供する便利なユーティリティメソッドと、その設定(テーブルプロパティ)を活用する方法について学ぶ。特に、テーブルをクリーンアップ、性能の最適化、問題を修復・復旧、場合によってはテーブルそのものを置き換えるための一般的な手法を順番に紹介する。これらを通じて、テーブルのパフォーマンスや健全性を維持するための方法を具体的に理解し、自分が取った行動とその結果との関係性をしっかり掴めるようになる。
5.1 Delta Lakeテーブルプロパティの活用
Delta Lakeには、データエンジニアにとって欠かせない重要なテーブルを維持管理(クリーンアップ、チューニング)し、必要に応じて修復、復旧、置き換えるためのさまざまなユーティリティ機能が備わっている。この章の冒頭では、メンテナンスに関連する一般的なDelta ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access