データエンジニアリングの設計パターン

データプロジェクトは組織の技術エコシステムに欠かせない要素だけど、多くの企業ではデータエンジニアが既に解決済みの問題に取り組んでいるのが現状です。この実践的なガイドでは、データ取り込み、データ品質、イディポテンスなど、データエンジニアリングのさまざまな側面に着目して、価値あるデータを提供する方法を紹介しています。

著者である Bartosz Konieczny が、データ取り込みからデータ可観測性まで、信頼性の高いエンドツーエンドのデータエンジニアリングプロジェクトを構築するプロセスを、ビジネスでよくある問題を安全かつストレージに最適化された方法で解決するデータエンジニアリングの設計パターンに焦点を当てて説明します。各パターンには、問題、解決策、およびパターンを実際のシナリオのコンテキストに当てはめる結果について、ユーザ向けの説明が含まれています。

この旅を通して、オープンソースのデータツールとパブリッククラウドサービスを使って、各パターンを適用するよ。学ぶ内容

• データエンジニアが直面する課題とそのデータシステムへの影響
• これらの課題がデータシステムコンポーネントとどう関連しているか
• データエンジニアリングパターンの有用なアプリケーション
• 現在のデータコンポーネントの問題を特定し、解決する方法
• オープンソースの実装例を含む、新規および既存のデータプロジェクトに対するテクノロジーに依存しないソリューション

Bartosz Konieczny は、2010年からコーディングに携わるフリーランスのデータエンジニアです。バッチ処理やストリーム処理における多くのデータエンジニアリングの問題に取り組む、さまざまな上級実務職を歴任してきました。