仕事ではじめる機械学習 第2版

7章効果検証：機械学習にもとづいた施策の成果を判断する

「新機能をリリースしたら先週と比較して売上が20%上昇しました、プロジェクトは成功です」、果たして本当でしょうか？ 機械学習プロジェクトの成否は機械学習を利用した結果、ビジネスにどれだけの影響を与えたかで判断できます。本章では施策の影響度を正しく推定する効果検証の、オンラインおよびオフラインでの方法について解説します。

7.1　効果検証の概要

効果検証とはある施策によってもたらされた効果量を推定することです。言い換えれば「事象YがXによってどれだけ影響を受けたか」を明らかにする行為にあたります。たとえば広告配信サービスであれば、「広告表示1,000回あたりの収益額が新機能によってどれだけ増えたか」を検証します。効果検証によりリリースした機能が有効であったかどうかの判断、データを根拠にした意思決定が初めて可能になります。 本章で紹介する手法は機械学習を利用した情報システムに限らず、医薬品の開発や社会実験の評価といった幅広い分野で活用されています。

7.1.1　ビジネス指標（メトリクス）を用いた施策の評価

3章では機械学習モデルの予測精度を評価するさまざまな指標を学びました。一方で、実際にビジネスで利用したときにどれほどのインパクトがあるかは、予測精度からは通常わかりません。予測精度そのものが価値となるデータ販売などのビジネスも存在しますが、機械学習の多くのユースケースでは予測を元になんらかの意思決定を行います。たとえば需要予測を元に製造業では製造量を、小売販売業では仕入れ量を決定します。その意思決定の結果がどれだけビジネスに影響を与えるかで評価したくなるのが自然でしょう。ここでは予測モデル単体ではなく、意思決定システムとして捉えた単位の性能に着目します。 ...