March 2024
Beginner to intermediate
416 pages
6h 54m
Japanese
おめでとう!データエンジニアリングライフサイクルの、最後のステージに到達した。下流のユースケースへのデータ提供だ(図9-1)。本章ではデータエンジニアが遭遇するであろう3つの主要なユースケースに対してデータを提供するさまざまな方法について学んでいく。1つ目は、アナリティクスとBIへのデータ提供だ。これには、統計分析、レポート、ダッシュボードで使用するデータを準備することになる。これは最も伝統的なデータ提供の分野だ。おそらくITやデータベースよりも昔からある分野だが、利害関係者がビジネス、組織、財務のプロセスを可視化することは、これまで通り重要だ。
図9-1 それぞれのユースケースに対するデータ提供
2つ目は、MLアプリケーションへのデータ提供だ。MLは、適切に準備された高品質のデータなしには実現できない。データエンジニアは、データサイエンティストやMLエンジニアと協力して、モデルの訓練に必要なデータを取得、変換、提供する。
3つ目は、リバースETLを通じたデータ提供だ。リバースETLとは、データをデータソースに送り返すことだ。例えば、アドテクプラットフォームからデータを取得し、このデータに対して統計処理を実行してクリック単価を決定し、このデータをアドテクプラットフォームに送り返す。リバースETLは、BIやMLと深く関わっている。
これら3つの主要なデータ提供について詳しく説明する前に、これらに共通する一般的な考慮事項を見てみよう。 ...