データおよび機械学習プラットフォームのアーキテクト

第4章. マイグレーション・フレームワーク

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

新興企業でない限り、データプラットフォームをゼロから構築することは稀だ。その代わりに、レガシーシステムからマイグレーションすることで新しいデータプラットフォームを立ち上げることになる。この章では、マイグレーションのプロセス- 新しいデータプラットフォームに移行する際に行うべきすべてのこと - を検討しよう。まず、データプラットフォームを最新化する際に従うべき概念モデルと可能なフレームワークを提示する。次に、組織がソリューションの総コストを見積もる方法を検討する。移行作業中もセキュリティとデータガバナンスを確保する方法について説明する。最後に、スキーマ、データ、パイプラインの移行について説明する。また、地域の容量、ネットワーク、データ転送の制約に対するオプションについても学ぶ。

データワークフローの近代化

マイグレーション 計画の作成を始める前に、なぜそれを行うのか、何を目指してマイグレーションを行うのか、包括的な構想を持つべきである。

ホリスティックな視点

データ・モダナイゼーションの変革は、総合的に考える必要がある。これを俯瞰的に見ると、3つの柱を挙げることができる：

事業成果

最新化しようとしているワークフロー（ ）に焦点を当て、それらのワークフローが推進するビジネス成果を特定する。これは、どこにギャップがあり、どこに機会があるかを特定するために重要である。テクノロジーを決定する前に、リーダーシップによって特定されたビジネスオブジェクトに合致するユースケースに移行を限定する（通常、2～3年の時間軸で）。

ステークホルダー

データにアクセスできる可能性のある人物（ ）または役割（これらのチームの一部はまだ存在しないかもしれない）を特定する。データ近代化の目標は、データアクセスを民主化することである。したがって、これらのチームは、データリテラシーを身につけ、モダナイゼーションの最終段階のテクノロジーが使用することを想定しているあらゆるツール（SQL、Python、ダッシュボード）に習熟する必要がある。

テクノロジー

ビジネス戦略やチームの能力に合わせて、データアーキテクチャ、モデリング、ストレージ、セキュリティ、統合、演算子、ドキュメンテーション、リファレンスデータ、品質、ガバナンスを定義、実装、デプロイする必要がある。

マイグレーションを純粋なITやデータサイエンスのプロジェクトとして扱うのではなく、技術的側面がより大きな組織変革のサブセットに過ぎないことを確認すること。

ワークフローを近代化する

モダナイゼーション・プログラムについて考えるとき、あなたの心は、現在使用しているツールで経験している問題に自然と引き寄せられる。データベースをアップグレードし、大域的な一貫性とスケーラビリティを持たせたいと考え、SpannerやCockroachDBにモダナイズする。ストリーミング・エンジンをアップグレードし、よりレジリエンスに優れ、実行しやすくしたいと考え、FlinkやDataflowを選択する。DWHのクラスタとクエリのチューニングが終わったので、BigQueryかSnowflakeにモダナイズする。

これらはすべて素晴らしい動きだ。可能な限り、より使いやすく、より実行しやすく、よりスケーラブルで、よりレジリエンスの高いツールにアップグレードすべきなのは間違いない。しかし、同じようなツールの変更だけでは、インクリメント的な改善で終わってしまう。そのようなアップグレードからは、変革的な変化は得られない。 ...