大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス

はじめに

ソーシャルメディア、ライブストリーミング、スマートフォンなど、近年デジタル化は私たちの生活のすべてを変えてきました。音楽やテレビ、ショッピング、旅行など、さまざまな業界でデジタル化が進んでいます。また、人工知能や機械学習の進歩により、ドローンや自動運転車を始めとする自律的な機械が普及するなど、デジタル化は今もなお加速しています。

デジタル社会の原動力になっているものは何でしょうか。それはデータです。20世紀は石油が世界で最も貴重な資源でした。そして、現代の石油にあたるものがデータです（https://oreil.ly/ElYot）。データ分析の発展により、データに対するニーズが、かつてないレベルにまで高まるのは時間の問題でしょう。

生成されるデータの量が急増するにつれ、その複雑さも増しています。クラウド、API管理、マイクロサービス、オープンデータ、SaaS（Software-as-a-Service）など、ソフトウェアデリバリーモデルの新たなトレンドが登場し、ここ数年で無数の新しいデータベースやデータ分析用のアプリケーションがリリースされています。

データに対する新しいアプローチが膨大に存在するため、デジタル世界は断片化されています。ポイントツーポイントのインタフェースが増え、データの品質や所有権に関する議論が続き、プライバシーや安全性、セキュリティに関して倫理面や法律面のジレンマが多く存在しています。新しいビジネスを迅速に開発したいという要求が高まるにつれ、アジリティ、長期的な安定性、明確なデータガバナンスが重要になっています。我々の業界は、データ管理と統合の未来について、明確なビジョンを切実に求めています。

本書のデータ管理とデータ統合に関する考え方は、筆者自身がチーフデータアーキテクトとして、大企業のデータアーキテクチャ計画を推進した際の経験に基づいています。この役割を遂行する中で、優れたデータ戦略を策定することが、大きな組織にとっては非常に重要であることがわかりました。それ以前は、戦略コンサルタントとして多くのアーキテクチャを設計し、大規模なデータ管理プログラムに参加したほか、フリーランスのアプリケーション開発者を務めてきました。つまり、筆者は、この10年もの間、企業がデータ駆動型になるための完璧なソリューションを探してきたのです。現在、筆者の勤務先であるABNアムロ銀行 ...