大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス

1章データ管理の崩壊

データフィケーション（https://oreil.ly/7k6HT）がいたるところで行われているため、データ管理は崩壊しつつあります。既存のアーキテクチャでは、もはやスケールアップできません。企業は、新しいデータ戦略を必要としています。パラダイムシフトや企業文化の変革も必要です。なぜなら、現在は機能している中央集権的なソリューションは、将来的にはうまく動かなくなるからです。

テクノロジーのトレンドにより、データランドスケープ（データの全体像）が分断されています。ソフトウェアの提供速度は、新しい方法論によって加速していますが、その代償としてデータの複雑さが増大しています。また、データが急速に増加したことと、データの大量消費により、運用システムの負荷が高まっています。さらに、プライバシーやセキュリティ、法規制についても考えなければなりません。

これらのトレンドがデータ管理に与える影響は非常に大きく、業界全体として、今後どのようにデータ管理を行うべきか、再考を求められています。本書では、データ管理に関する筆者独自の理論をまとめています。この理論は、これまで多くの企業がデータランドスケープをどのように設計し整理してきたか、という理論とは対照をなすものになっています。この理論については2章で説明しますが、その前に、データ管理とは何か、そしてなぜそれが重要なのかについて、読者に納得してもらう必要があるでしょう。また、さまざまなトレンドを見て、現状を理解してもらわなければなりません。そして、最後に、企業における現在のデータアーキテクチャとプラットフォームがどのように設計され、構成されているかについて説明します。

説明を始める前に、筆者の考え方について紹介しておきましょう。筆者は、データ管理において何を中央で処理すべきか、何を連合型処理で行うべきかについて強い信念を持っています。将来的には分散型アーキテクチャが広まると考え、筆者は新しいビジョンに取り組むことにしました。データウェアハウスやデータレイクは、データを活用するための優れたアプローチではあります。しかし、データ消費の要求が今後急速に高まることを想定して設計されたものではありません。例えば、機械学習では、膨大なデータを必要としていますが、それと同時に反応性や即時性も求められるため、アーキテクチャには迅速な応答性が求められます。 ...