解読 データアーキテクチャ ―モダンデータウェアハウス、データファブリック、データレイクハウス、データメッシュの選び方

9章データインジェスト手法

デジタル化が加速する現代社会において、あらゆる種類のデータを処理し、その意味を理解することは、すべての業種にとって欠かせない要素となっています。本章では、データ処理における最初のステップ、すなわちデータをシステムに取り込む方法（データインジェスト）について解説します。

ここでは、データをさまざまなシステムに取り込むための代表的な手法を紹介します。まず、最も一般的な2つの方法であるETLとELTについて、わかりやすく説明します。さらに、従来の方法とは逆方向のアプローチであるリバースETLという比較的新しい概念も取り上げます。

データ要件はユースケースによって異なるため、本章ではバッチ処理やリアルタイム処理など、複数のアプローチを比較検討します。これらの違いを理解することで、扱うデータ量や必要な更新頻度に応じて、最適な手法を選択できるようになるでしょう。最後に、データの正確性・一貫性・アクセス性を確保するうえで不可欠なデータガバナンスの役割についても解説します。

本章では、これらの概念を簡潔に整理し、データ処理全体の流れの中でどのように関連し合っているかを明らかにします。読者がすでにデータ基盤の専門家であっても、これから学びはじめる初心者であっても問題ありません。筆者は、この奥深くも実践的なデータインジェストの世界へ、みなさんを案内できることをうれしく思います。

9.1　ETLとELT

長年にわたり、抽出・変換・ロード（ETL、extract-transform-load）は、ソースシステムからリレーショナルデータウェアハウスにデータを転送するために、最も一般的に使われてきた手法でした。しかし近年では、特にデータレイクの領域において、抽出・ロード・変換