データおよび機械学習プラットフォームのアーキテクト

第1章. データプラットフォームの近代化入門的概要

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

データは、企業がより良い意思決定を行い、新たな機会を特定し、演算子を改善するのに役立つ貴重な資産である。グーグルは2013年、マネージャーの質を向上させることで従業員の定着率を高める戦略的プロジェクトを実施した。マネジャーのスキルのようなゆるいものでも、データ駆動型 の方法で調査することができた。Googleは、1万件の業績評価を分析し、高業績のマネージャーに共通の振る舞いを特定し、トレーニングプログラムを作成することで、管理職の好感度を83％から88％に向上させることができた。戦略的データプロジェクトのもう一つの例は、Amazonで実施された。このeコマース大手は、顧客の振る舞いに基づいたレコメンデーションシステムを実装し、2017年の購買の35％を牽引した。サンフランシスコのバスケットボールチーム、ウォリアーズもその一例で、彼らは分析プログラムを実施し、リーグのトップに躍り出た。これらはすべて、従業員の定着、製品の推奨、勝率の向上など、最新のデータ分析によって達成されたビジネス目標の例である。

データ駆動型企業になるためには、データ分析、処理、洞察のためのエコシステムを構築する必要がある。なぜなら、データを作成・消費するアプリケーション（Webサイト、ダッシュボード、モバイルアプリ、MLモデル、分散デバイスなど）には様々な種類があるからだ。また、データ主導の洞察を必要とする社内のさまざまな部門（経理、営業、マーケティング、or演算子、物流など）も存在する。全社が顧客基盤であるため、データプラットフォームの構築は単なるITプロジェクトではない。

本章では、データプラットフォームとその要件、そして従来のデータアーキテクチャでは不十分である理由を紹介する。また、データ分析とAIの技術動向、パブリッククラウドを利用した将来のデータプラットフォームの構築方法についても触れている。この章は、本書の残りの部分で詳しく説明するコア・トピックの一般化である。

データのライフサイクル

データ プラットフォームの目的は、組織が生データから洞察に満ちた情報へと移行するために必要なステップをサポートすることである。データライフサイクルのステップ（収集、ストア、処理、可視化、活性化）を理解することは、統合分析プラットフォームを作成するためのデータアーキテクチャにほぼそのままマッピングすることができるため有用である。

知恵への旅

データは、企業がよりスマートな製品を開発し、より多くの顧客を獲得し、投資収益率（ROI）を高めるのに役立つ。データはまた、顧客満足度、収益性、コストの測定にも活用できる。しかし、データだけでは十分ではない。データは原材料であり、それを使って洞察や知識を生み出すには、一連の段階を経る必要がある。この一連のステージを我々はデータライフサイクルと呼んでいる。文献には多くの定義があるが、一般化された観点から、現代のデータプラットフォームアーキテクチャにおける5つの主要なステージを特定することができる：

1.集める

データを取得し、対象システムに注入しなければならない（例：手動データエントリ、バッチロード、ストリーミング取り込みなど）。

2.店舗

データは、将来簡単にアクセスできる耐久性のある方法で永続化される必要がある（ファイル・ストレージ・システムやデータベースなど）。 ...