book

信頼性の高い機械学習 ―SRE原則を活用したMLOps

Name: 信頼性の高い機械学習 ―SRE原則を活用したMLOps
ISBN: 9784814400768

by Cathy Chen, Niall Richard Murphy, Kranti Parisa, D. Sculley, Todd Underwood, 井伊篤彦, 張凡, 樋口千洋

October 2024

Intermediate to advanced

388 pages

5h 45m

Japanese

O'Reilly Japan, Inc.

Read now

Unlock full access

　大扉
　原書大扉
　クレジット
　訳者まえがき
　推薦の言葉
　本書の上梓に寄せて
　まえがき
　　　章のクレジットに関して
　1章　はじめに
　　1.1　MLライフサイクル　　　1.1.1　データ収集と分析　　　1.1.2　ML訓練パイプライン　　　1.1.3　アプリケーションの構築と検証　　　1.1.4　品質と性能の評価　　　1.1.5　SLOの定義と測定　　　1.1.6　ローンチ　　　　1.1.6.1　コードとしてのモデル　　　　1.1.6.2　ゆっくりとローンチする　　　　1.1.6.3　リファクタリングではなくリリース　　　　1.1.6.4　データ層でロールアウトを分離する　　　ステートフルシステムにおけるプログレッシブロールアウト　　　　1.1.6.5　ローンチ中にSLOを測定する　　　　1.1.6.6　ロールアウトのレビュー　　　1.1.7　監視とフィードバックのループ　　1.2　MLループからの教訓
　2章　データマネジメント
　　2.1　責任としてのデータ　　　匿名化レベルの違いによるアプリケーション例　　　匿名化はとても困難です　　2.2　MLパイプラインのデータ感度　　2.3　データの段階　　　2.3.1　作成　　　2.3.2　取り込み　　　2.3.3　前処理　　　　2.3.3.1　検証　　　　2.3.3.2　データのクレンジングと一貫性確保　　　　2.3.3.3　データの拡張　　　2.3.4　保管　　　2.3.5　管理　　　2.3.6　データ分析と可視化　　2.4　データの信頼性　　　2.4.1　耐久性　　　2.4.2　一貫性　　　2.4.3　バージョン管理　　　2.4.4　性能　　　2.4.5　可用性　　2.5　データの保守性　　　2.5.1　セキュリティ　　　2.5.2　プライバシー　　　YarnItの推薦に関するプライバシーポリシー　　　2.5.3　ポリシーとコンプライアンス　　　　2.5.3.1　管轄のルール　　　　2.5.3.2　報告義務　　2.6　まとめ
　3章　MLモデルの基礎
　　3.1　MLモデルとは何か　　3.2　基本的なMLモデル作成のワークフロー　　3.3　モデルアーキテクチャvsモデル定義vs訓練済みモデル　　3.4　脆弱性はどこにあるのか　　　3.4.1　訓練データ　　　　3.4.1.1　不完全な適用範囲　　　　3.4.1.2　偽相関　　　　3.4.1.3　コールドスタート　　　　3.4.1.4　自己実現的予言とMLのエコーチェンバー　　　　3.4.1.5　世界の変化　　　3.4.2　ラベル　　　　3.4.2.1　ラベルノイズ　　　　3.4.2.2　誤って付けられたラベル　　　　3.4.2.3　不正または悪意のあるフィードバック　　　3.4.3　訓練方法　　　　3.4.3.1　過学習　　　　3.4.3.2　安定性の欠如　　　　3.4.3.3　深層学習の特徴　　3.5　インフラとパイプライン　　　3.5.1　プラットフォーム　　　3.5.2　特徴量生成　　　3.5.3　アップグレードと改修　　3.6　どんなモデルにも役立つ質問集　　3.7　MLシステムの例　　　3.7.1　毛糸のクリック予測モデル　　　3.7.2　特徴量　　　3.7.3　特徴量に対するラベル　　　3.7.4　モデルの更新　　　3.7.5　モデルの提供　　　3.7.6　一般的な失敗　　3.8　まとめ

　4章　特徴量と訓練データ
　　4.1　特徴量　　　4.1.1　特徴量選択と特徴量エンジニアリング　　　4.1.2　特徴量のライフサイクル　　　4.1.3　特徴量システム　　　　4.1.3.1　データ取り込みシステム　　　　4.1.3.2　特徴量ストア　　　ライフサイクルアクセスのパターン　　　特徴量の変換　　　　4.1.3.3　特徴量の評価システム　　4.2　ラベル　　4.3　人間が生成したラベル　　　4.3.1　アノテーション作業　　　4.3.2　人間によるアノテーションの品質計測　　　4.3.3　アノテーションプラットフォーム　　　4.3.4　能動学習とAIアシストラベリング　　　4.3.5　文書化とラベル作成者のための訓練　　4.4　メタデータ　　　4.4.1　メタデータシステムの概要　　　4.4.2　データセットのメタデータ　　　4.4.3　特徴量のメタデータ　　　4.4.4　ラベルのメタデータ　　　4.4.5　パイプラインのメタデータ　　4.5　データのプライバシーと公平性　　　4.5.1　プライバシー　　　　4.5.1.1　個人情報データと特徴量　　　　4.5.1.2　個人情報とラベリング　　　4.5.2　公平性　　4.6　まとめ
　5章　モデルの確実性と品質の評価
　　5.1　モデルの確実性の評価　　5.2　モデル品質の評価　　　5.2.1　オフライン評価　　　5.2.2　評価分布　　　　5.2.2.1　ホールドアウト検証データ　　　　5.2.2.2　段階的検証　　　　5.2.2.3　ゴールデンセット　　　　5.2.2.4　ストレステスト分布　　　　5.2.2.5　細分化された分析　　　　5.2.2.6　反実仮想テスト　　　5.2.3　有用な評価指標　　　　5.2.3.1　カナリア評価指標　　　　　バイアス　　　　　キャリブレーション　　　　5.2.3.2　分類問題の評価指標　　　　　正解率　　　　　適合率と再現率　　　　　AUC ROC　　　　　適合率／再現率曲線　　　　5.2.3.3　回帰問題の評価指標　　　　　平均2乗誤差と平均絶対誤差　　　　　log損失　　5.3　検証と評価の運用化　　5.4　まとめ
　6章　公正さ、プライバシー、倫理的なMLシステム
　　6.1　公正性（偏見との戦い）　　　ソリューショニズムについて　　　6.1.1　公平性の定義　　　規範的価値観とは何か　　　6.1.2　公平性の達成　　　公平性のためのアルゴリズムにフォールバックは必要か　　　6.1.3　終着点ではなくプロセスとしての公平性　　　6.1.4　法律上の注意　　6.2　プライバシー　　　6.2.1　プライバシーを守る方法　　　　6.2.1.1　技術的対策　　　　6.2.1.2　制度的措置　　　データアクセスガイドライン　　　6.2.2　法律上の注意　　6.3　責任あるAI　　　6.3.1　説明性　　　6.3.2　有効性　　　6.3.3　社会的、文化的妥当性　　6.4　MLパイプラインに沿った責任あるAI　　　6.4.1　ユースケースについてのブレインストーミング　　　6.4.2　データの収集とクレンジング　　　6.4.3　モデルの作成と訓練　　　6.4.4　モデルの検証と品質評価　　　6.4.5　モデルのデプロイメント　　　6.4.6　市場に向けた運用　　6.5　まとめ
　7章　MLモデル訓練システム
　　7.1　必要条件　　7.2　基本的な訓練システムの導入　　　7.2.1　特徴量　　　7.2.2　特徴量ストア　　　7.2.3　モデル管理システム　　　7.2.4　オーケストレーション　　　　7.2.4.1　ジョブ／プロセス／リソーススケジューリングシステム　　　　7.2.4.2　MLフレームワーク　　　7.2.5　品質評価　　　7.2.6　監視　　7.3　一般的な信頼性の原則　　　7.3.1　ほとんどの障害はMLの障害ではない　　　7.3.2　モデルは再訓練される　　　7.3.3　モデルは複数のバージョンを持つ（しかも同時に）　　　7.3.4　良いモデルもいずれ悪くなる　　　7.3.5　データが利用できなくなる　　　7.3.6　モデルは改善可能であるべき　　　7.3.7　特徴量は追加、変更される　　　7.3.8　モデルの訓練が速すぎる　　　7.3.9　リソースの活用は重要　　　7.3.10　リソース利用率は効率ではない　　　7.3.11　機能停止には復旧も含まれる　　7.4　訓練の信頼性に関するよくある問題　　　7.4.1　データ感度　　　7.4.2　YarnItでのデータ問題の例　　　7.4.3　再現性　　　7.4.4　YarnItにおける再現性問題の例　　　7.4.5　計算リソース容量　　　7.4.6　YarnItにおける容量問題の例　　7.5　構造上の信頼性　　　7.5.1　組織の課題　　　7.5.2　倫理と公平性に関する考慮　　7.6　まとめ
　8章　サービス運用
　　8.1　モデルのサービス運用のための主要な質問　　　8.1.1　モデルにはどんな負荷がかかるだろうか　　　8.1.2　モデルの予測レイテンシに関する必要要件は何か　　　8.1.3　モデルはどこで稼働する必要があるのか　　　　8.1.3.1　ローカルマシン上　　　　8.1.3.2　組織が所有または管理するサーバー上　　　　8.1.3.3　クラウド上　　　　8.1.3.4　デバイス上　　　8.1.4　モデルにはどんなハードウェアが必要か　　　8.1.5　運用モデルではどのように保存され、ロードされ、バージョン管理され、更新されるのか　　　8.1.6　運用のための特徴量パイプラインはどのようなものになるか　　8.2　モデル運用アーキテクチャ　　　8.2.1　オフライン運用（バッチ推論）　　　　8.2.1.1　利点　　　　8.2.1.2　欠点　　　8.2.2　オンライン運用（オンライン推論）　　　　8.2.2.1　利点　　　　8.2.2.2　欠点　　　8.2.3　サービスとしてのモデル　　　　8.2.3.1　利点　　　　8.2.3.2　欠点　　　8.2.4　エッジでの運用　　　　8.2.4.1　利点　　　　8.2.4.2　欠点　　　8.2.5　アーキテクチャの選択　　8.3　モデルAPIデザイン　　　8.3.1　テスト　　8.4　精度重視か回復性重視か　　8.5　スケーリング　　　8.5.1　オートスケーリング　　　8.5.2　キャッシング　　8.6　障害からの復旧　　8.7　倫理と公平性への配慮　　8.8　まとめ
　9章　モデルの監視と可観測性
　　9.1　運用監視とは何か、なぜ行うのか　　　9.1.1　監視とはどのようなものか　　　9.1.2　MLが監視にもたらす懸念点　　　9.1.3　運用環境でMLを観測し続ける理由　　9.2　ML運用監視の問題　　　9.2.1　運用に対する開発の難しさ　　　スキューに関する重要な注意事項　　　9.2.2　意識改革の必要性　　9.3　MLモデル監視のベストプラクティス　　　9.3.1　一般的な運用前モデルへの推薦事項　　　　9.3.1.1　説明可能性と監視　　　9.3.2　訓練と再訓練　　　　9.3.2.1　具体的な推薦事項　　　9.3.3　モデルの検証（運用開始前）　　　　9.3.3.1　検証におけるフォールバック　　　　9.3.3.2　改善策の要請　　　　9.3.3.3　具体的な推薦事項　　　9.3.4　運用　　　　9.3.4.1　モデル　　　　　ケース1：リアルタイム実績値　　　　　ケース2：実績値の遅延　　　　　ケース3：バイアスのある実績値　　　　　ケース4：実績値がない、ほとんどない場合　　　　　その他のアプローチ　　　　　モデル性能指標のトラブルシューティング　　　　9.3.4.2　データ　　　　　ドリフト　　　　　ドリフトの測定　　　　　ドリフトのトラブルシューティング　　　　9.3.4.3　データの品質　　　　　カテゴリデータ　　　　　数値データ　　　　　データ品質の測定　　　　9.3.4.4　サービス　　　　　モデル性能の最適化　　　　　サービス性能の最適化　　　9.3.5　その他考慮すべき事項　　　　9.3.5.1　ML監視におけるSLO　　　　　サービス全体の監視　　　　　監視における公平性　　　　　監視におけるプライバシー　　　　　ビジネスへの影響　　　　　高密度データタイプ（画像、ビデオ、テキストドキュメント、オーディオなど）　　　9.3.6　監視戦略に関する高レベルの推薦事項　　9.4　まとめ
　10章　継続的なML
　　10.1　継続的なMLシステムの解剖学　　　10.1.1　訓練事例　　　10.1.2　訓練用ラベル　　　10.1.3　悪いデータを取り除く　　　10.1.4　特徴量ストアとデータ管理　　　10.1.5　モデルのアップデート　　　10.1.6　運用環境への更新モデルのプッシュ　　10.2　継続的なMLシステムについての観察　　　10.2.1　外界の出来事が私たちのシステムに影響を与える可能性　　　10.2.2　モデルによる訓練データへの影響　　　10.2.3　異なる時間スケールでの時間的な影響　　　10.2.4　緊急対応はリアルタイムで行う必要がある　　　　10.2.4.1　訓練を停止する　　　　10.2.4.2　フォールバック（縮退運用）　　　　10.2.4.3　ロールバック　　　　10.2.4.4　不良データの除去　　　　10.2.4.5　状況が改善されるのを待つ（ロールスルー）　　　　10.2.4.6　対応戦略の選択　　　　10.2.4.7　組織上の考慮事項　　　10.2.5　新たなローンチには段階的な強化と安定したベースラインが必要　　　10.2.6　モデルはただリリースするたけでなく管理しなければならない　　10.3　継続的な組織　　10.4　非継続的なMLシステムを再考する　　10.5　まとめ
　11章　障害対応
　　11.1　障害管理の基本　　　11.1.1　障害の段階　　　11.1.2　障害対応の役割　　11.2　MLを中心とした機能停止の分析　　11.3　用語に関する注意：モデル　　11.4　時間の事例　　　11.4.1　事例1：探しても何も見つからないケース　　　　11.4.1.1　事例1におけるML障害対応の段階　　　11.4.2　事例2：突然パートナーシステムが機能しなくなる　　　　11.4.2.1　事例2におけるML障害対応の段階　　　11.4.3　事例3：新しいサプライヤーを探すべきである　　　　11.4.3.1　事例3におけるML障害対応の段階　　11.5　ML障害管理の原則　　　11.5.1　指針　　　11.5.2　モデル開発者またはデータサイエンティスト　　　　11.5.2.1　準備　　　　11.5.2.2　障害対応　　　　11.5.2.3　継続的な改善　　　11.5.3　ソフトウェアエンジニア　　　　11.5.3.1　準備　　　　11.5.3.2　障害対応　　　　11.5.3.3　継続的な改善　　　11.5.4　MLのSREもしくは運用エンジニア　　　　11.5.4.1　準備　　　　11.5.4.2　障害対応　　　　11.5.4.3　継続的な改善　　　11.5.5　運用マネージャーまたはビジネスリーダー　　　　11.5.5.1　準備　　　　11.5.5.2　障害対応　　　　11.5.5.3　継続的な改善　　11.6　特別なトピック　　　11.6.1　運用エンジニアおよびMLエンジニアリングと、モデリングとの比較　　　11.6.2　倫理的なオンコールエンジニア規約　　　　11.6.2.1　影響　　　　11.6.2.2　原因　　　　11.6.2.3　トラブルシューティング　　　　11.6.2.4　解決策と行動への呼び掛け　　11.7　まとめ
　12章　製品とMLの関わり方
　　12.1　様々なタイプの応用　　12.2　アジャイルMLとは何か　　12.3　ML製品開発フェーズ　　　12.3.1　発見と定義　　　12.3.2　ビジネス目標設定　　　12.3.3　MVPの構築と検証　　　12.3.4　モデルおよび製品開発　　　12.3.5　開発　　　12.3.6　サポートおよびメンテナンス　　12.4　構築と購入の比較　　　12.4.1　モデル　　　　12.4.1.1　一般的なユースケース　　　　12.4.1.2　企業データへの取り組み　　　12.4.2　データ処理インフラ　　　12.4.3　エンドツーエンドのプラットフォーム　　　12.4.4　意思決定のためのスコア付け方法　　　12.4.5　意思決定　　12.5　MLを活用したYarnItストア機能の事例　　　12.5.1　人気の毛糸を総売上高別に紹介　　　12.5.2　閲覧履歴に基づく推薦　　　12.5.3　クロスセルとアップセル　　　12.5.4　コンテンツによるフィルタリング　　　12.5.5　協調フィルタリング　　12.6　まとめ
　13章　MLの組織への統合
　　13.1　前提　　　13.1.1　リーダー的視点　　　13.1.2　詳細事項　　　13.1.3　MLはビジネスについて知る必要がある　　　13.1.4　最も重要な前提条件　　　13.1.5　MLの価値　　13.2　重大な組織リスク　　　13.2.1　MLは魔法ではありません　　　13.2.2　メンタル（考え方）モデルの慣性　　　13.2.3　異なる組織文化でのリスクを正しく表面化する　　　13.2.4　サイロ化したチームが全ての問題を解決できるわけではない　　13.3　実装モデル　　　13.3.1　ゴールを思い出す　　　13.3.2　グリーンフィールドとブラウンフィールド　　　13.3.3　MLの役割と責任　　　13.3.4　ML人材の雇用　　13.4　組織設計とインセンティブ　　　13.4.1　戦略　　　13.4.2　構造　　　13.4.3　プロセス　　　13.4.4　報酬　　　13.4.5　人材　　　13.4.6　次のステップのためのノート　　13.5　まとめ
　14章　実践的なML組織の事例
　　14.1　シナリオ1：新規集中型MLチーム　　　14.1.1　背景と組織の説明　　　14.1.2　プロセス　　　14.1.3　報奨　　　14.1.4　人材　　　大きければ良いというわけではない　　　14.1.5　標準の実施手順　　14.2　シナリオ2：分散型MLインフラと専門知識　　　14.2.1　背景と組織の説明　　　14.2.2　プロセス　　　14.2.3　報奨　　　14.2.4　人材　　　14.2.5　標準の実施手順　　14.3　シナリオ3：中央集権型インフラと分散型モデリングのハイブリッド　　　14.3.1　背景と組織の概要　　　14.3.2　プロセス　　　14.3.3　報奨　　　14.3.4　人材　　　14.3.5　標準の実現手順　　14.4　まとめ
　15章　ケーススタディ：MLOpsの実践
　　15.1　MLパイプラインでのプライバシーとデータ保持ポリシーの対応　　　15.1.1　背景　　　15.1.2　問題と解決策　　　　15.1.2.1　課題1：どの方言を対象にするか　　　　15.1.2.2　解決策：方言という概念をなくす　　　　15.1.2.3　課題2：時間との競争　　　　15.1.2.4　解決策（および新たな課題）　　　15.1.3　教訓　　15.2　トラフィックに影響を与える連続的なMLモデル　　　15.2.1　背景　　　15.2.2　問題と解決策　　　15.2.3　教訓　　15.3　鋼材検査　　　15.3.1　背景　　　15.3.2　問題と解決策　　　15.3.3　教訓　　15.4　NLPのMLOps：プロファイリングとステージング負荷テスト　　　15.4.1　背景　　　15.4.2　問題と解決策　　　　15.4.2.1　ベンチマークの改善されたプロセス　　　15.4.3　教訓　　15.5　広告クリック予測：データベース対現実　　　15.5.1　背景　　　15.5.2　問題と解決策　　　15.5.3　教訓　　15.6　MLワークフローにおける依存関係のテストと測定　　　15.6.1　背景　　　15.6.2　問題と解決策　　　　15.6.2.1　回帰テストサンドボックスの構築　　　　15.6.2.2　回帰の監視　　　15.6.3　教訓
　著者紹介
　奥付

Content preview from 信頼性の高い機械学習 ―SRE原則を活用したMLOps

●著者紹介

Cathy Chen（キャシー・チェン）

CPCC、MA、技術系リーダーへのコーチングを専門とし、チームを率いる上での自身のスキルアップを可能にする。技術プログラムマネージャー、プロダクトマネージャー、エンジニアリングマネージャーの役割を担ってきた。大手ハイテク企業や新興企業において、製品機能の立ち上げや社内ツールの開発、大規模システムの運用などでチームを率いてきた。カリフォルニア大学バークレー校で電気工学の学士号を、コロンビア大学ティーチャーズカレッジで組織心理学の修士号を取得している。ペンシルバニア州ピッツバーグにパートナーと在住し、GoogleのSREに勤務している。

Niall Richard Murphy（ニール・リチャード・マーフィー）

1990年代半ばからインターネットインフラに携わり、大規模なオンラインサービスを専門に扱ってきた。アイルランドのダブリンにある主要なクラウドプロバイダで勤務した後、直近ではマイクロソフトでAzureサイトリライアビリティエンジニアリング（SRE）のグローバル責任者を務めた。機械学習に初めて触れたのは、GoogleのダブリンオフィスでAds MLチームを管理し、ピッツバーグでTodd Underwoodと仕事をしたとき。Google SRE本2冊の発起人、共著者、編集者であり、コンピュータサイエンス、数学、詩学の学位を持つ、おそらく世界でも数少ない人物の一人である。ダブリンに妻と2人の子供と住んでおり、SREの分野でMLに関わるスタートアップに携わっている。

Kranti Parisa（クランティ・パリサ）

Dialpadの副社長兼製品エンジニアリングの責任者。彼のチームは、業界をリードする社内のAI/MLとテレフォニー技術により、大規模なクラウドネイティブのリアルタイムビジネスコミュニケーションとコラボレーションソフトウェアを構築している。Dialpad以前は、Appleで検索とパーソナライゼーションのプラットフォーム、製品、サービスを担当するチームを率いていた。クラウドコンピューティング、SaaS、エンタープライズサーチに特化した複数の新興企業で共同設立者、CTO、技術顧問を務める。また、Apache ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9784814400768Publisher Website

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills