データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

6章ストレージへの保存

ストレージへの保存はデータエンジニアリングライフサイクル（図6-1）の礎であり、ライフサイクルの主要なステージ（取り込み、変換、提供）を支えている。データはライフサイクルの中で何度も保存される。古いことわざを言い換えれば、「どこまで下ってもストレージ」なのだ†1。データが必要になるのは数秒後、数分後、数日後、数ヶ月後、数年後のいずれなのかはわからないが、システムの準備が整い処理と送信ができるようになるまで、データはストレージに保存され続けなければならない。データのユースケースと、将来データを取り出す方法を知っておくことは、データアーキテクチャに適切なストレージソリューションを選択するための第一歩だ。

[†1] 訳注：原文は「It’s storage all the way down.」これは無限に退行する構造を意味する、「It’s turtles all the way down.」のもじり。https://en.wikipedia.org/wiki/Turtles_all_the_way_downを参照。

図6-1 ストレージへの保存はデータエンジニアライフサイクルで中心的な役割を果たす

また、「5章　ソースシステムにおけるデータ生成」でもストレージについて説明したが、議論の焦点と対象領域が異なる。ソースシステムは一般にデータエンジニアによって保守・管理されることはない。本章で焦点を当てるのはデータエンジニアが直接扱うストレージだ。ソースシステムからデータを取り込み、アナリティクスやデータサイエンスによって価値を提供するためにデータを提供するデータエンジニアリングライフサイクルのさまざまなステージで、このようなストレージが登場する。さまざまな形態のストレージが、さまざまな形でデータエンジニアリングライフサイクル全体を下支えしている。 ...