Skip to Main Content
データエンジニアリングの基礎 ―データプロジェクトで失敗しないために
book

データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

by Joe Reis, Matt Housley, 中田 秀基
March 2024
Beginner to intermediate content levelBeginner to intermediate
416 pages
6h 54m
Japanese
O'Reilly Japan, Inc.
Content preview from データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

7章データ取り込み

これまでに、データエンジニアとして遭遇するであろうソースシステムと、データの保存方法について学んだ。次は、さまざまなソースシステムからデータを取り込む際に適用されるパターンと選択肢について考えてみよう。本章では、データの取り込み(data ingestion、図7-1を参照)について説明する。取り込みフェーズで考慮すべき重要なエンジニアリング上の課題、2つの主要なパターン(バッチ取り込みとストリーミング取り込み)、遭遇するであろう技術、データ取り込みパイプラインを開発する際に協力する相手、取り込みフェーズにおける底流について議論する。

データ処理を行うには、まずデータを取り込む必要がある

図7-1 データ処理を行うには、まずデータを取り込む必要がある

7.1 データ取り込みとは

データ取り込みとは、データをある場所から別の場所に移動するプロセスである。データ取り込みは、データエンジニアリングライフサイクルにおいて、ソースシステムからストレージへデータを移動することを意味する。取り込みはこの2つの中間にあたる(図7-2)。

ソースシステムからストレージにデータを取り込む

図7-2 ソースシステムからストレージにデータを取り込む

ここで、データ取り込みとデータ統合を簡単に比較しておこう。データ取り込みがA地点からB地点へのデータ移動であるのに対し、データ ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス

大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス

Piethein Strengholt, 村上 列
ユーザーストーリーマッピング

ユーザーストーリーマッピング

Jeff Patton, 川口 恭伸, 長尾 高弘

Publisher Resources

ISBN: 9784814400652Publisher Website