解読 データアーキテクチャ ―モダンデータウェアハウス、データファブリック、データレイクハウス、データメッシュの選び方

1章ビッグデータ

2020年代に入り、データアーキテクチャを構築する企業は急増しています。この流れは当面は続くと見込まれます。その背景には、ソーシャルメディア、IoT（モノのインターネット）デバイス、自社開発アプリケーション、サードパーティソフトウェアなど、かつてないほど膨大なデータが入手可能になったことがあります。2023年BCGの調査（https://oreil.ly/hpOPt）によれば、「2018年から2021年にかけて生成されたデータ量は約2倍に増え、約84ZBに達した。この成長率は今後も続く」と予測されています。さらに研究者は「2021年から2024年にかけて、データ生成量は年平均成長率（CAGR）21％で増加し、149ZBに達する」と推定しています。企業は、こうして生まれるデータを収集して、過去と現在を比較したり未来を予測したりすることで、数百万ドル規模のコスト削減と売上増加を実現できると考えています。ただし、そのためにはその膨大なデータを保存する手段が不可欠です。

ビジネスの世界では、データアーキテクチャをできるだけ早く構築しようと急ピッチで作業が進められています。これらのアーキテクチャは、将来的に発生するあらゆるデータ（その規模・速度・種類を問わず）を処理し、その正確性を維持できなければなりません。そして、データアーキテクチャに携わる私たちは、その仕組みと選択肢を明確に理解しておく必要があります。本書はそのためにまとめたものです。筆者は、データアーキテクチャの概念を正しく理解していないことが、いかに深刻な結果を招くかを実際に目の当たりにしてきました。ある企業では、2年間で1億ドルを投じてデータアーキテクチャを構築しました。しかし、誤ったテクノロジーを選択していたため使い勝手が悪く、特定の種類のデータには対応できないことが判明しました。結局そのアーキテクチャは廃棄され、一から再構築することになったのです。このような事態を避けるためにも、本書が参考となれば幸いです。 ...