データおよび機械学習プラットフォームのアーキテクト

第6章. エンタープライズ・データウェアハウスでイノベーションを起こす

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

第3章では、クラウドデータプラットフォームの中心的なコンポーネントとして、データレイクとデータウェアハウス のどちらを選択するかは、組織がエンジニアリング／サイエンスファースト（データレイクを選択）かアナリティクスファースト（DWHを選択）かに帰結することを学んだ。第5章では、データプラットフォームの設計における中心的要素としてのデータレイクの概念に焦点を当てた。本章では、その代わりに最新のデータウェアハウスを中心要素として、コスト、民主化、柔軟性、ガバナンスといった同じ問題に対処する方法を学ぶ。

まず、データプラットフォームの構築によって解決される問題を簡単に振り返り、クラウドDWHを魅力的なソリューションにする技術トレンドについて議論する。その後、最新のDWHアーキテクチャがどのようなものか、そしてそれを使ってデータアナリストやデータサイエンティストをどのように効果的に活用できるかを深く掘り下げていく。

最新のデータプラットフォーム

大規模なテクノロジー・プロジェクトに取り組む際には、まず、どのようなビジネス目標を達成しようとしているのか、現在のテクノロジー上の課題は何か、どのようなテクノロジー・トレンドを活用したいのかを自問すべきである。このセクションでは、最新のデータプラットフォームを構築する際にこれらの質問にどのように対処すべきか、またエンタープライズDWHアプローチがデータプラットフォームの設計においてどのようにフォーカスを当てることができるかを理解してもらうことに焦点を当てる。これらの概念の多くは、前の章ですでに触れているが、ここで再定義することは、最新のDWHの設計とアーキテクチャが解決する問題を結びつけるのに役立つ。

組織の目標

顧客とのインタビューの中で、CTOは繰り返しこれらの組織 の目標を重要なものとして挙げている：

サイロはない

ある部門のユーザは、他の部門が作成したデータにアクセスする必要があるため、データは企業全体で 。例えば、来年の製品をどのように設計するかを決定する製品マネジャーは、小売オペレーションチームが作成・管理する取引データにアクセスする必要があるかもしれない。

民主化

データ・プラットフォーム は、技術的な仲介者を介さずにデータにアクセスできるドメイン・エキスパートやその他の非技術系ユーザをサポートしなければならないが、そのユーザはデータの品質と一貫性を信頼できなければならない。

発見力

データ・プラットフォーム は、データ・エンジニアや、様々な処理段階でデータへのアクセスを必要とする他の技術ユーザをサポートしなければならない。例えば、生のトランザクションが照合されたデータセットがある場合、データサイエンティストは照合されたデータセットを取得できる必要がある。もしそれを発見できなければ、照合ルーチンを再構築することになる。したがって、組織全体で処理ステップが重複しないように、これらすべての「中間」データセットを発見できるようにすべきである。

スチュワードシップ

データセットは、それが何であるかを理解しているチーム（ ）の管理下に置かれるべきである。例えば、経理データはIT部門ではなく、経理部門の管理下に置かれるべきである。

シングルソース

データはその場で読み取るべきである。データのコピーと抽出は最小限にする。 ...