Skip to Main Content
データエンジニアリングの基礎 ―データプロジェクトで失敗しないために
book

データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

by Joe Reis, Matt Housley, 中田 秀基
March 2024
Beginner to intermediate content levelBeginner to intermediate
416 pages
6h 54m
Japanese
O'Reilly Japan, Inc.
Content preview from データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

6章ストレージへの保存

ストレージへの保存はデータエンジニアリングライフサイクル(図6-1)の礎であり、ライフサイクルの主要なステージ(取り込み、変換、提供)を支えている。データはライフサイクルの中で何度も保存される。古いことわざを言い換えれば、「どこまで下ってもストレージ」なのだ†1。データが必要になるのは数秒後、数分後、数日後、数ヶ月後、数年後のいずれなのかはわからないが、システムの準備が整い処理と送信ができるようになるまで、データはストレージに保存され続けなければならない。データのユースケースと、将来データを取り出す方法を知っておくことは、データアーキテクチャに適切なストレージソリューションを選択するための第一歩だ。

[†1] 訳注:原文は「It’s storage all the way down.」これは無限に退行する構造を意味する、「It’s turtles all the way down.」のもじり。https://en.wikipedia.org/wiki/Turtles_all_the_way_downを参照。

ストレージへの保存はデータエンジニアライフサイクルで中心的な役割を果たす

図6-1 ストレージへの保存はデータエンジニアライフサイクルで中心的な役割を果たす

また、「5章 ソースシステムにおけるデータ生成」でもストレージについて説明したが、議論の焦点と対象領域が異なる。ソースシステムは一般にデータエンジニアによって保守・管理されることはない。本章で焦点を当てるのはデータエンジニアが直接扱うストレージだ。ソースシステムからデータを取り込み、アナリティクスやデータサイエンスによって価値を提供するためにデータを提供するデータエンジニアリングライフサイクルのさまざまなステージで、このようなストレージが登場する。さまざまな形態のストレージが、さまざまな形でデータエンジニアリングライフサイクル全体を下支えしている。 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス

大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス

Piethein Strengholt, 村上 列
ユーザーストーリーマッピング

ユーザーストーリーマッピング

Jeff Patton, 川口 恭伸, 長尾 高弘

Publisher Resources

ISBN: 9784814400652Publisher Website