ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで

5章バンディットアルゴリズム: テスト中の損失にも向き合う

5.1　素朴な疑問

ここは株式会社Xの会議室。ウェブマーケターのチャーリーが、新しいA/Bテストの計画を定例会議で発表していました。話を聞いた課長のエレンが、チャーリーに質問しました。「試しに新しいビジュアルをユーザに見せてみるのはいいけど、それってもしかしたら今使っているものよりも訴求力が低いかもしれないわけだよね？その場合、テスト中に生じる損失についてはどう考えているの？そもそも、どれくらいの期間テストすれば十分と言えるの？」

なかなかに鋭い質問です。たしかに、新しいものを試すことには常にリスクがつきまといます。新しい解が、現在の解よりも評価値が低い可能性は十分にあります。しかし新しい解を試してみないことには、そのことを知りえません。知識を得るためには、リスクを取って探索してみるほかないのです。

チャーリーは答えに窮してしまいました。最適なモデルを設計することで、なんとか少ない表示回数でも有用な結果を導き出せるよう善処すると答えるのが精一杯でした。まったく事前知識のない解を試す場合でも、できるだけテスト中の損失を小さくするにはどうすればいいのでしょうか？何をもって十分な大きさのサンプルが得られたと考えればいいのでしょうか？これまでベイズ統計とメタヒューリスティクスを用いた組合せ最適化の基礎を学んで、だいたいの問題には対処できるような気になっていましたが、まだまだ考えなければならないことはたくさんあるようです。チャーリーはぐるぐると悩み始めてしまいました。

5.1.1　探索と活用のジレンマ

エレンが呈した疑問は、さまざまな物事に共通する問題です。新しいことを試すことは現状より悪くなるリスクが伴いますが、試さないことには現状より良くなることもありません。日々の買い物からライフステージの転換点に至るまで、私たちはさまざまな場面でこのような決断に直面していると言えるでしょう。 ...