データおよび機械学習プラットフォームのアーキテクト

第3章 データチームの設計 データチームのためにデザインする

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

、データプラットフォームを設計する際、考慮すべき技術的側面がいくつかある：パフォーマンス、コスト、オーバーヘッド、オペレーショナル・エクセレンス、新しい分析手法やML手法の統合など。しかし、企業文化に取り組まなければ、これらの技術的側面は水泡に帰してしまう。新技術には、従業員のメンタルモデルや仕事のやり方を変える意欲が必要だ。もう1つ留意すべき重要な点は、既存の従業員が現在持っていて、今後習得する必要があるスキルだ。場合によっては、新しいスキルを学び、働き方を変えた社員は、データプラットフォームが導入される前とは異なる役割を担うことになる。

この章では、メンタルモデル、ワークフロー、テクニカルスキル、役割の変化を、組織がどのように計画し、オーケストレーションできるかを探る。どの組織もユニークであるため、データプラットフォームの構築には、各部門や従業員ごとにきめ細かな計画を策定する必要がある。この章では、そのようなきめ細かな計画が、様々なタイプの組織にとってどのようなものであるかを説明する。

データ処理組織を分類する

組織は、その才能に応じて異なる戦略を採用することで成功することができる。普遍的な「ベスト」アプローチは存在しない。強力なディフェンスを持つスポーツチームは、自分たちの強みを発揮してディフェンスに集中すべきであり、オフェンスに長けた選手のいるチームのオフェンスをコピーしようとしてはならない。同様に、もしあなたの組織に強力なデータアナリストのチームがあるのなら、データエンジニアだらけの組織に変えようとするのではなく、その人材に焦点を当てるべきである。

従業員のスキルとユースケースの複雑さに基づいて、組織に最適な戦略を決定する。小規模だが能力の高い（そして高価な）データエンジニア集団が必要だろうか？それとも、すでに存在する大規模なデータアナリストの労働力を活用し、行動可能なデータの充実と変換を行うべきか？これらのワーカーにはどの程度の専門知識が必要だろうか？より価値の高い仕事を遂行するために現在の労働力を訓練することは現実的だろうか？あるいは、ジェネレーティブAIやノーコード・ツールに投資し、そのような基盤技術をより多くの従業員が利用できるようにするべきか？

最適なテクノロジー・アプローチもまた、組織内で異なるだろう。そのため、きめ細かな計画では、各ビジネスユニットに最適なテクノロジーアプローチを詳述する。技術面では、標準的なETL （ETLツールのプログラミングスキルが必要）をベースとしたアプローチと、ELT（より一般化したSQLスキルが必要）をベースとした最新のアプローチとの選択も行う。

図3-1にスケッチしたように、従来のペルソナ・バリューチェーン（ ）を考えてみよう。組織内のすべてのデータ・ユーザは、少人数で特殊化されたテクニカル・スキルを持っていることがわかる。もし組織がデータ分析チームの範囲を拡大したいのであれば、データエンジニアリ ングチームとデータサイエンスチームの規模を拡大し、データ分析者をサポートするのに十分な技術スキルを持 つ人材を確保する必要がある。

図3-1. データ処理：従来のペルソナ・バリューチェーン

パブリッククラウドが提供する新しいパラダイムは、データ処理、データ分析、アルゴリズム開発の方法に新たな可能性をもたらした。クラウド技術によって、新しい働き方が可能になった。アナリストは、これまでデータエンジニアが管理していたバッチ処理（ ...