ETLの理解

はじめに

あなたの肩書きがデータ・エンジニアであろうと、その他のデータ指向の職業（アナリストやサイエンティストなど）であろうと、ETLという言葉を耳にしたことがあるだろう。ETLがあなたの生活の一部になっている可能性は高い！

ETLは、抽出、変換、ロードの略で、ほとんどのデータ実務者がタスクとする基本的なワークフローを説明するために使用される-ソースシステムからデータを取り出し、ニーズに合わせて変更し、ターゲットにロードする。

製品リーダーがデータに基づいた意思決定を行えるようにしたい。ETLは、レポート用の重要なテーブルを構築する。チームの機械学習モデルの次のイテレーションをトレーニングしたい。ETLは質の高いデータセットを作成する。コンプライアンス要件を満たすために、会社のストレージポリシーに構造と厳密性をもたらそうとしている？ETLは、ワークフローにプロセス、リネージ、可観測性をもたらす。

データを使って何かをしようと思ったら、信頼できるプロセスやパイプラインが必要だ。この基本的な真理は、古典的なビジネス・インテリジェンス（BI）ワークロードから、大規模言語モデル（LLM）やAIのような最先端の進歩まで当てはまる。

AIのブレイブ・ニュー・ワールド

あるものはこのスペースを一変させ、あるものは短命の流行に終わった。最も新しいものは、間違いなくジェネレーティブAIだ。

あらゆる場面で、AI、LLM、チャットボットに関する話題が飛び交っている。OpenAIのChatGPTのリリースによってもたらされたこの最近のAIへの熱狂は、メディアや研究者の関心を超えて広がっている。

LLMの真価は、クリーンでキュレーションされたデータセットに対する埋め込みやモデルの微調整から生まれる。これらのテクニックは、幻覚のような一般的なエラーを回避し、ドメイン固有の知識でモデルを作成することを可能にする。

もちろん、意味のある埋め込みは、ご想像の通り、クリーンなデータセットから導き出される。その意味で、AIはデータ変換の上に成り立っている。その成功は、一貫性のある高品質のデータセットを大規模に作成できるかどうかに大きく依存している。データは一箇所で移動、変異、統合される必要がある。抽出、変換、ロードと言い換えてもいいかもしれない。

その通り、最先端の技術でさえ、そのルーツはETLに遡る。

変化するデータ環境

最近のジェネレーティブAIの急増に加え、他のトレンドも過去10年間でデータの状況を変えてきた。そのひとつが、ストリーミング・データの重要性の高まりだ。企業は現在、センサー、Webサイト、モバイル・アプリケーションなどを通じて膨大な量のリアルタイム・データを生成している。この変化により、即時の意思決定のためにデータをリアルタイムで取り込み、処理することが必要になっている。そのためデータ・エンジニアは、従来のバッチ処理にとどまらず、大量のストリーミング・データを処理できる連続的なパイプラインを構築・管理することが求められている。

もう一つの注目すべき発展は、データレイクハウスアーキテクチャの出現である。データレイクハウスは、データウェアハウスとデータレイクの機能を融合させようとする新しい概念である。データレイクの信頼性とパフォーマンスを向上させるDelta Lakeのような新技術のストレージを活用することで、レイクハウス・モデルはデータレイクの費用対効果が高くスケーラブルなストレージと、データウェアハウスの効率的なトランザクション処理を組み合わせる。この融合により、AIワークロード（通常はデータレイクで処理）とアナリティクスワークロード（通常はデータウェアハウスで実施）の両方を単一のフレームワークで実行できるようになる。この統合により、並列アーキテクチャの維持、一貫したデータガバナンスの確保、データの重複管理に伴う複雑さが大幅に軽減される。 ...