データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

8章クエリ、データモデリング、変換

これまで見てきたデータエンジニアリングライフサイクルのステージでは、主にデータをある場所から別の場所に移したり、保存したりしていた。この章では、データを有用なものにする方法を学ぶ。クエリ、データモデリング、変換を理解すれば（図8-1参照）、生のデータ素材を下流の利害関係者が消費できるものに変えるツールを手に入れたことになる。

図8-1 変換によってデータから価値を生み出す

まず、クエリとその基礎となる重要なパターンについて説明する。次に、データにビジネスロジックを導入するために使用する、主なデータモデリングパターンについて説明する。次に変換について説明する。変換によって、データモデルのロジックをクエリの結果に適用してその結果を下流で消費しやすくする。最後に、変換に関して「一緒に仕事する人」と、変換を支える「底流」について説明する。

SQLおよびNoSQLデータベースにおけるデータのクエリ、モデリング、変換には、さまざまなテクニックがある。本章では、データウェアハウスやデータレイクなどのOLAPシステムに対するクエリに焦点を当てる。クエリ用の言語は数多く存在するが、利便性と親しみやすさを考慮して、最も一般的に用いられており汎用性の高いクエリ言語であるSQLに重点を置いて説明する。OLAPデータベースやSQLに関する考え方のほとんどは、他の種類のデータベースやクエリ言語にも適用できる。この章では、SQL言語と、主キーや外部キーなどのSQLに関連する基本的な概念を理解していることを前提にしている。これらの考え方に馴染みがなければ、無数の資料が入手できるだろうから、そちらを見てほしい。 ...