解読 データアーキテクチャ ―モダンデータウェアハウス、データファブリック、データレイクハウス、データメッシュの選び方

2章データアーキテクチャの種類

データアーキテクチャの設計と構築には、必ず十分な時間をかけて取り組むようにしてください。筆者自身、この仕事を始めた頃の苦い経験を通して、その重要性を学びました。当時の筆者は、ソリューション構築を始めることに浮き立ち、アーキテクチャ設計や使用するプロダクトを慎重に検討することなく決定してしまいました。プロジェクト開始から3か月後、そのアーキテクチャでは必要なデータソースのすべてに対応できないことが判明したのです。結果として、プロジェクトを最初からやり直し、別のアーキテクチャとプロダクトを再検討することになり、莫大な時間と費用を失いました。適切な計画を怠れば、エンドユーザーはソリューションから価値を得られず、スケジュールの遅延に不満を募らせ、企業は競合他社に後れを取ることになります。

データソリューションを構築する際には、まずそのブループリントを慎重に検討する必要があります。ここで中心的な役割を果たすのが、データアーキテクチャです。データアーキテクチャでは、高レベルの設計と概念を定義し、使用するテクノロジーを体系的に整理するとともに、ビッグデータを収集・処理するためのデータフローを明確に示します。ただし、データアーキテクチャの決定は容易ではありません。なぜなら、万能のアーキテクチャは存在しないからです。世の中に、最適なアーキテクチャ設計手法や対応プロダクトを一覧化した標準リストは存在しません。シンプルなフローチャートや決定木によって最適解を導けるようなものでもありません。アーキテクチャの設計手法と使用するテクノロジーは、顧客の要件やユースケースによって大きく異なるのです。

本書では、高レベルのアーキテクチャとその概念のうち、特に一般的で広く活用されているものについて詳しく説明します。単なるリストを挙げるのではなく、それぞれの位置付けや関係を含めた全体像を示します。データアーキテクチャをその特性に基づいて分類することは重要です。本書でもこのような分類を行いますが、それは「あらかじめ定義されたテンプレートの中から、あらゆる状況に対応できる万能の1つを選ぶ」ためではありません。データアーキテクチャは、それぞれ固有の特性を持っています。したがって、特定のビジネスニーズを満たすためには、必ずカスタマイズが必要になります。 ...