book

信頼性の高い機械学習 ―SRE原則を活用したMLOps

Name: 信頼性の高い機械学習 ―SRE原則を活用したMLOps
ISBN: 9784814400768

by Cathy Chen, Niall Richard Murphy, Kranti Parisa, D. Sculley, Todd Underwood, 井伊篤彦, 張凡, 樋口千洋

October 2024

Intermediate to advanced

388 pages

5h 45m

Japanese

O'Reilly Japan, Inc.

Read now

Unlock full access

　大扉
　原書大扉
　クレジット
　訳者まえがき
　推薦の言葉
　本書の上梓に寄せて
　まえがき
　　　章のクレジットに関して
　1章　はじめに
　　1.1　MLライフサイクル　　　1.1.1　データ収集と分析　　　1.1.2　ML訓練パイプライン　　　1.1.3　アプリケーションの構築と検証　　　1.1.4　品質と性能の評価　　　1.1.5　SLOの定義と測定　　　1.1.6　ローンチ　　　　1.1.6.1　コードとしてのモデル　　　　1.1.6.2　ゆっくりとローンチする　　　　1.1.6.3　リファクタリングではなくリリース　　　　1.1.6.4　データ層でロールアウトを分離する　　　ステートフルシステムにおけるプログレッシブロールアウト　　　　1.1.6.5　ローンチ中にSLOを測定する　　　　1.1.6.6　ロールアウトのレビュー　　　1.1.7　監視とフィードバックのループ　　1.2　MLループからの教訓
　2章　データマネジメント
　　2.1　責任としてのデータ　　　匿名化レベルの違いによるアプリケーション例　　　匿名化はとても困難です　　2.2　MLパイプラインのデータ感度　　2.3　データの段階　　　2.3.1　作成　　　2.3.2　取り込み　　　2.3.3　前処理　　　　2.3.3.1　検証　　　　2.3.3.2　データのクレンジングと一貫性確保　　　　2.3.3.3　データの拡張　　　2.3.4　保管　　　2.3.5　管理　　　2.3.6　データ分析と可視化　　2.4　データの信頼性　　　2.4.1　耐久性　　　2.4.2　一貫性　　　2.4.3　バージョン管理　　　2.4.4　性能　　　2.4.5　可用性　　2.5　データの保守性　　　2.5.1　セキュリティ　　　2.5.2　プライバシー　　　YarnItの推薦に関するプライバシーポリシー　　　2.5.3　ポリシーとコンプライアンス　　　　2.5.3.1　管轄のルール　　　　2.5.3.2　報告義務　　2.6　まとめ
　3章　MLモデルの基礎
　　3.1　MLモデルとは何か　　3.2　基本的なMLモデル作成のワークフロー　　3.3　モデルアーキテクチャvsモデル定義vs訓練済みモデル　　3.4　脆弱性はどこにあるのか　　　3.4.1　訓練データ　　　　3.4.1.1　不完全な適用範囲　　　　3.4.1.2　偽相関　　　　3.4.1.3　コールドスタート　　　　3.4.1.4　自己実現的予言とMLのエコーチェンバー　　　　3.4.1.5　世界の変化　　　3.4.2　ラベル　　　　3.4.2.1　ラベルノイズ　　　　3.4.2.2　誤って付けられたラベル　　　　3.4.2.3　不正または悪意のあるフィードバック　　　3.4.3　訓練方法　　　　3.4.3.1　過学習　　　　3.4.3.2　安定性の欠如　　　　3.4.3.3　深層学習の特徴　　3.5　インフラとパイプライン　　　3.5.1　プラットフォーム　　　3.5.2　特徴量生成　　　3.5.3　アップグレードと改修　　3.6　どんなモデルにも役立つ質問集　　3.7　MLシステムの例　　　3.7.1　毛糸のクリック予測モデル　　　3.7.2　特徴量　　　3.7.3　特徴量に対するラベル　　　3.7.4　モデルの更新　　　3.7.5　モデルの提供　　　3.7.6　一般的な失敗　　3.8　まとめ

　4章　特徴量と訓練データ
　　4.1　特徴量　　　4.1.1　特徴量選択と特徴量エンジニアリング　　　4.1.2　特徴量のライフサイクル　　　4.1.3　特徴量システム　　　　4.1.3.1　データ取り込みシステム　　　　4.1.3.2　特徴量ストア　　　ライフサイクルアクセスのパターン　　　特徴量の変換　　　　4.1.3.3　特徴量の評価システム　　4.2　ラベル　　4.3　人間が生成したラベル　　　4.3.1　アノテーション作業　　　4.3.2　人間によるアノテーションの品質計測　　　4.3.3　アノテーションプラットフォーム　　　4.3.4　能動学習とAIアシストラベリング　　　4.3.5　文書化とラベル作成者のための訓練　　4.4　メタデータ　　　4.4.1　メタデータシステムの概要　　　4.4.2　データセットのメタデータ　　　4.4.3　特徴量のメタデータ　　　4.4.4　ラベルのメタデータ　　　4.4.5　パイプラインのメタデータ　　4.5　データのプライバシーと公平性　　　4.5.1　プライバシー　　　　4.5.1.1　個人情報データと特徴量　　　　4.5.1.2　個人情報とラベリング　　　4.5.2　公平性　　4.6　まとめ
　5章　モデルの確実性と品質の評価
　　5.1　モデルの確実性の評価　　5.2　モデル品質の評価　　　5.2.1　オフライン評価　　　5.2.2　評価分布　　　　5.2.2.1　ホールドアウト検証データ　　　　5.2.2.2　段階的検証　　　　5.2.2.3　ゴールデンセット　　　　5.2.2.4　ストレステスト分布　　　　5.2.2.5　細分化された分析　　　　5.2.2.6　反実仮想テスト　　　5.2.3　有用な評価指標　　　　5.2.3.1　カナリア評価指標　　　　　バイアス　　　　　キャリブレーション　　　　5.2.3.2　分類問題の評価指標　　　　　正解率　　　　　適合率と再現率　　　　　AUC ROC　　　　　適合率／再現率曲線　　　　5.2.3.3　回帰問題の評価指標　　　　　平均2乗誤差と平均絶対誤差　　　　　log損失　　5.3　検証と評価の運用化　　5.4　まとめ
　6章　公正さ、プライバシー、倫理的なMLシステム
　　6.1　公正性（偏見との戦い）　　　ソリューショニズムについて　　　6.1.1　公平性の定義　　　規範的価値観とは何か　　　6.1.2　公平性の達成　　　公平性のためのアルゴリズムにフォールバックは必要か　　　6.1.3　終着点ではなくプロセスとしての公平性　　　6.1.4　法律上の注意　　6.2　プライバシー　　　6.2.1　プライバシーを守る方法　　　　6.2.1.1　技術的対策　　　　6.2.1.2　制度的措置　　　データアクセスガイドライン　　　6.2.2　法律上の注意　　6.3　責任あるAI　　　6.3.1　説明性　　　6.3.2　有効性　　　6.3.3　社会的、文化的妥当性　　6.4　MLパイプラインに沿った責任あるAI　　　6.4.1　ユースケースについてのブレインストーミング　　　6.4.2　データの収集とクレンジング　　　6.4.3　モデルの作成と訓練　　　6.4.4　モデルの検証と品質評価　　　6.4.5　モデルのデプロイメント　　　6.4.6　市場に向けた運用　　6.5　まとめ
　7章　MLモデル訓練システム
　　7.1　必要条件　　7.2　基本的な訓練システムの導入　　　7.2.1　特徴量　　　7.2.2　特徴量ストア　　　7.2.3　モデル管理システム　　　7.2.4　オーケストレーション　　　　7.2.4.1　ジョブ／プロセス／リソーススケジューリングシステム　　　　7.2.4.2　MLフレームワーク　　　7.2.5　品質評価　　　7.2.6　監視　　7.3　一般的な信頼性の原則　　　7.3.1　ほとんどの障害はMLの障害ではない　　　7.3.2　モデルは再訓練される　　　7.3.3　モデルは複数のバージョンを持つ（しかも同時に）　　　7.3.4　良いモデルもいずれ悪くなる　　　7.3.5　データが利用できなくなる　　　7.3.6　モデルは改善可能であるべき　　　7.3.7　特徴量は追加、変更される　　　7.3.8　モデルの訓練が速すぎる　　　7.3.9　リソースの活用は重要　　　7.3.10　リソース利用率は効率ではない　　　7.3.11　機能停止には復旧も含まれる　　7.4　訓練の信頼性に関するよくある問題　　　7.4.1　データ感度　　　7.4.2　YarnItでのデータ問題の例　　　7.4.3　再現性　　　7.4.4　YarnItにおける再現性問題の例　　　7.4.5　計算リソース容量　　　7.4.6　YarnItにおける容量問題の例　　7.5　構造上の信頼性　　　7.5.1　組織の課題　　　7.5.2　倫理と公平性に関する考慮　　7.6　まとめ
　8章　サービス運用
　　8.1　モデルのサービス運用のための主要な質問　　　8.1.1　モデルにはどんな負荷がかかるだろうか　　　8.1.2　モデルの予測レイテンシに関する必要要件は何か　　　8.1.3　モデルはどこで稼働する必要があるのか　　　　8.1.3.1　ローカルマシン上　　　　8.1.3.2　組織が所有または管理するサーバー上　　　　8.1.3.3　クラウド上　　　　8.1.3.4　デバイス上　　　8.1.4　モデルにはどんなハードウェアが必要か　　　8.1.5　運用モデルではどのように保存され、ロードされ、バージョン管理され、更新されるのか　　　8.1.6　運用のための特徴量パイプラインはどのようなものになるか　　8.2　モデル運用アーキテクチャ　　　8.2.1　オフライン運用（バッチ推論）　　　　8.2.1.1　利点　　　　8.2.1.2　欠点　　　8.2.2　オンライン運用（オンライン推論）　　　　8.2.2.1　利点　　　　8.2.2.2　欠点　　　8.2.3　サービスとしてのモデル　　　　8.2.3.1　利点　　　　8.2.3.2　欠点　　　8.2.4　エッジでの運用　　　　8.2.4.1　利点　　　　8.2.4.2　欠点　　　8.2.5　アーキテクチャの選択　　8.3　モデルAPIデザイン　　　8.3.1　テスト　　8.4　精度重視か回復性重視か　　8.5　スケーリング　　　8.5.1　オートスケーリング　　　8.5.2　キャッシング　　8.6　障害からの復旧　　8.7　倫理と公平性への配慮　　8.8　まとめ
　9章　モデルの監視と可観測性
　　9.1　運用監視とは何か、なぜ行うのか　　　9.1.1　監視とはどのようなものか　　　9.1.2　MLが監視にもたらす懸念点　　　9.1.3　運用環境でMLを観測し続ける理由　　9.2　ML運用監視の問題　　　9.2.1　運用に対する開発の難しさ　　　スキューに関する重要な注意事項　　　9.2.2　意識改革の必要性　　9.3　MLモデル監視のベストプラクティス　　　9.3.1　一般的な運用前モデルへの推薦事項　　　　9.3.1.1　説明可能性と監視　　　9.3.2　訓練と再訓練　　　　9.3.2.1　具体的な推薦事項　　　9.3.3　モデルの検証（運用開始前）　　　　9.3.3.1　検証におけるフォールバック　　　　9.3.3.2　改善策の要請　　　　9.3.3.3　具体的な推薦事項　　　9.3.4　運用　　　　9.3.4.1　モデル　　　　　ケース1：リアルタイム実績値　　　　　ケース2：実績値の遅延　　　　　ケース3：バイアスのある実績値　　　　　ケース4：実績値がない、ほとんどない場合　　　　　その他のアプローチ　　　　　モデル性能指標のトラブルシューティング　　　　9.3.4.2　データ　　　　　ドリフト　　　　　ドリフトの測定　　　　　ドリフトのトラブルシューティング　　　　9.3.4.3　データの品質　　　　　カテゴリデータ　　　　　数値データ　　　　　データ品質の測定　　　　9.3.4.4　サービス　　　　　モデル性能の最適化　　　　　サービス性能の最適化　　　9.3.5　その他考慮すべき事項　　　　9.3.5.1　ML監視におけるSLO　　　　　サービス全体の監視　　　　　監視における公平性　　　　　監視におけるプライバシー　　　　　ビジネスへの影響　　　　　高密度データタイプ（画像、ビデオ、テキストドキュメント、オーディオなど）　　　9.3.6　監視戦略に関する高レベルの推薦事項　　9.4　まとめ
　10章　継続的なML
　　10.1　継続的なMLシステムの解剖学　　　10.1.1　訓練事例　　　10.1.2　訓練用ラベル　　　10.1.3　悪いデータを取り除く　　　10.1.4　特徴量ストアとデータ管理　　　10.1.5　モデルのアップデート　　　10.1.6　運用環境への更新モデルのプッシュ　　10.2　継続的なMLシステムについての観察　　　10.2.1　外界の出来事が私たちのシステムに影響を与える可能性　　　10.2.2　モデルによる訓練データへの影響　　　10.2.3　異なる時間スケールでの時間的な影響　　　10.2.4　緊急対応はリアルタイムで行う必要がある　　　　10.2.4.1　訓練を停止する　　　　10.2.4.2　フォールバック（縮退運用）　　　　10.2.4.3　ロールバック　　　　10.2.4.4　不良データの除去　　　　10.2.4.5　状況が改善されるのを待つ（ロールスルー）　　　　10.2.4.6　対応戦略の選択　　　　10.2.4.7　組織上の考慮事項　　　10.2.5　新たなローンチには段階的な強化と安定したベースラインが必要　　　10.2.6　モデルはただリリースするたけでなく管理しなければならない　　10.3　継続的な組織　　10.4　非継続的なMLシステムを再考する　　10.5　まとめ
　11章　障害対応
　　11.1　障害管理の基本　　　11.1.1　障害の段階　　　11.1.2　障害対応の役割　　11.2　MLを中心とした機能停止の分析　　11.3　用語に関する注意：モデル　　11.4　時間の事例　　　11.4.1　事例1：探しても何も見つからないケース　　　　11.4.1.1　事例1におけるML障害対応の段階　　　11.4.2　事例2：突然パートナーシステムが機能しなくなる　　　　11.4.2.1　事例2におけるML障害対応の段階　　　11.4.3　事例3：新しいサプライヤーを探すべきである　　　　11.4.3.1　事例3におけるML障害対応の段階　　11.5　ML障害管理の原則　　　11.5.1　指針　　　11.5.2　モデル開発者またはデータサイエンティスト　　　　11.5.2.1　準備　　　　11.5.2.2　障害対応　　　　11.5.2.3　継続的な改善　　　11.5.3　ソフトウェアエンジニア　　　　11.5.3.1　準備　　　　11.5.3.2　障害対応　　　　11.5.3.3　継続的な改善　　　11.5.4　MLのSREもしくは運用エンジニア　　　　11.5.4.1　準備　　　　11.5.4.2　障害対応　　　　11.5.4.3　継続的な改善　　　11.5.5　運用マネージャーまたはビジネスリーダー　　　　11.5.5.1　準備　　　　11.5.5.2　障害対応　　　　11.5.5.3　継続的な改善　　11.6　特別なトピック　　　11.6.1　運用エンジニアおよびMLエンジニアリングと、モデリングとの比較　　　11.6.2　倫理的なオンコールエンジニア規約　　　　11.6.2.1　影響　　　　11.6.2.2　原因　　　　11.6.2.3　トラブルシューティング　　　　11.6.2.4　解決策と行動への呼び掛け　　11.7　まとめ
　12章　製品とMLの関わり方
　　12.1　様々なタイプの応用　　12.2　アジャイルMLとは何か　　12.3　ML製品開発フェーズ　　　12.3.1　発見と定義　　　12.3.2　ビジネス目標設定　　　12.3.3　MVPの構築と検証　　　12.3.4　モデルおよび製品開発　　　12.3.5　開発　　　12.3.6　サポートおよびメンテナンス　　12.4　構築と購入の比較　　　12.4.1　モデル　　　　12.4.1.1　一般的なユースケース　　　　12.4.1.2　企業データへの取り組み　　　12.4.2　データ処理インフラ　　　12.4.3　エンドツーエンドのプラットフォーム　　　12.4.4　意思決定のためのスコア付け方法　　　12.4.5　意思決定　　12.5　MLを活用したYarnItストア機能の事例　　　12.5.1　人気の毛糸を総売上高別に紹介　　　12.5.2　閲覧履歴に基づく推薦　　　12.5.3　クロスセルとアップセル　　　12.5.4　コンテンツによるフィルタリング　　　12.5.5　協調フィルタリング　　12.6　まとめ
　13章　MLの組織への統合
　　13.1　前提　　　13.1.1　リーダー的視点　　　13.1.2　詳細事項　　　13.1.3　MLはビジネスについて知る必要がある　　　13.1.4　最も重要な前提条件　　　13.1.5　MLの価値　　13.2　重大な組織リスク　　　13.2.1　MLは魔法ではありません　　　13.2.2　メンタル（考え方）モデルの慣性　　　13.2.3　異なる組織文化でのリスクを正しく表面化する　　　13.2.4　サイロ化したチームが全ての問題を解決できるわけではない　　13.3　実装モデル　　　13.3.1　ゴールを思い出す　　　13.3.2　グリーンフィールドとブラウンフィールド　　　13.3.3　MLの役割と責任　　　13.3.4　ML人材の雇用　　13.4　組織設計とインセンティブ　　　13.4.1　戦略　　　13.4.2　構造　　　13.4.3　プロセス　　　13.4.4　報酬　　　13.4.5　人材　　　13.4.6　次のステップのためのノート　　13.5　まとめ
　14章　実践的なML組織の事例
　　14.1　シナリオ1：新規集中型MLチーム　　　14.1.1　背景と組織の説明　　　14.1.2　プロセス　　　14.1.3　報奨　　　14.1.4　人材　　　大きければ良いというわけではない　　　14.1.5　標準の実施手順　　14.2　シナリオ2：分散型MLインフラと専門知識　　　14.2.1　背景と組織の説明　　　14.2.2　プロセス　　　14.2.3　報奨　　　14.2.4　人材　　　14.2.5　標準の実施手順　　14.3　シナリオ3：中央集権型インフラと分散型モデリングのハイブリッド　　　14.3.1　背景と組織の概要　　　14.3.2　プロセス　　　14.3.3　報奨　　　14.3.4　人材　　　14.3.5　標準の実現手順　　14.4　まとめ
　15章　ケーススタディ：MLOpsの実践
　　15.1　MLパイプラインでのプライバシーとデータ保持ポリシーの対応　　　15.1.1　背景　　　15.1.2　問題と解決策　　　　15.1.2.1　課題1：どの方言を対象にするか　　　　15.1.2.2　解決策：方言という概念をなくす　　　　15.1.2.3　課題2：時間との競争　　　　15.1.2.4　解決策（および新たな課題）　　　15.1.3　教訓　　15.2　トラフィックに影響を与える連続的なMLモデル　　　15.2.1　背景　　　15.2.2　問題と解決策　　　15.2.3　教訓　　15.3　鋼材検査　　　15.3.1　背景　　　15.3.2　問題と解決策　　　15.3.3　教訓　　15.4　NLPのMLOps：プロファイリングとステージング負荷テスト　　　15.4.1　背景　　　15.4.2　問題と解決策　　　　15.4.2.1　ベンチマークの改善されたプロセス　　　15.4.3　教訓　　15.5　広告クリック予測：データベース対現実　　　15.5.1　背景　　　15.5.2　問題と解決策　　　15.5.3　教訓　　15.6　MLワークフローにおける依存関係のテストと測定　　　15.6.1　背景　　　15.6.2　問題と解決策　　　　15.6.2.1　回帰テストサンドボックスの構築　　　　15.6.2.2　回帰の監視　　　15.6.3　教訓
　著者紹介
　奥付

Content preview from 信頼性の高い機械学習 ―SRE原則を活用したMLOps

14章実践的なML組織の事例

組織は複雑であり、その様々な側面が全てつながっています。MLを導入した結果、組織のリーダーは新たな課題や変化に直面するでしょう。実際に検討するために、3つの一般的な組織での構造変化を見て、私たちが検討してきた組織設計の問題にどう適用されるかを述べます。

それぞれのシナリオで、組織のリーダーがどのようにMLを組織へ導入したか、その選択のインパクトについて述べます。全体にわたり、それぞれの選択の利点と考えうる落とし穴について考察しますが、特に、各選択がプロセス、報酬、人材といった側面にどのように影響するかを13章で紹介したスターモデルを用いて考察します。組織のリーダーは、これらの実装シナリオで十分な詳細を確認して、自身の組織での側面を認識し、自身の組織での状況と戦略にマッピングできるはずです。

14.1　シナリオ1：新規集中型MLチーム

YarnItが、ショッピング時の推薦を生成するモデルを開発するMLの専門家を1人雇用し、組織スタックにMLを導入しました。試験運用は成功し、結果、売上が増加しました。同社は現在、この成功をどのように拡大するか、MLにどのようにそしてどれくらい投資するかについていくつかの決定を下す必要があります。YarnItのCEOは、組織の新しい一元化された機能としてMLの中核的拠点を構築し運営するため、新副社長の雇用を決定しました。

14.1.1　背景と組織の説明

この組織の選択には大きな利点があります。チームは専門化され、協力や共同作業の機会が豊富に存在し、リーダーシップは会社全体でMLに関する業務を優先する明確なスコープ（実施範囲）を有しています。信頼性の専門家は、そのスコープがMLシステムに限定されていれば、同じ組織に所属できます。集中化により、影響力の重要なつながりも生まれます。ML組織のリーダーたちは、YarnIt全体にわたって自分たちの優先事項を提唱するための立場をより強固に持つことができます。 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9784814400768Publisher Website

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

信頼性の高い機械学習 ―SRE原則を活用したMLOps

by Cathy Chen, Niall Richard Murphy, Kranti Parisa, D. Sculley, Todd Underwood, 井伊篤彦, 張凡, 樋口千洋

14章実践的なML組織の事例