ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで

4章メタヒューリスティクス: 統計モデルを使わない最適化手法

4.1　マーケティング会議

株式会社Xのマーケティング会議では、来月から行うウェブサイト改善プロジェクトの計画についての議論が交わされていました。今回行うテストでは、商品画像を5種類、CTAボタンも5種類試すことになっており、組合せの数も今までの実験と比べるとと多くなります。今回のテストを担当するアリスは、その規模の大きさに少し戸惑っていました。要素の数が増えても適切な統計モデルを設計すれば怖くないとはわかっていても、はたしてそんなにうまく事が運ぶのでしょうか？

その計画を聞いた同僚のボブが、ある提案をしました。「組合せの数が問題なら、まずは商品画像だけを変更した実験をして最適な商品画像を決定して、その商品画像を採用した後に、CTAボタンだけを変えた実験をするのはどうでしょうか？そうすれば、商品画像を変更した5つの案と、CTAボタンを変更した5つの案で、合計10個の案だけを試せばいいことになります」

正確に言うと最初の商品画像を変えた5つと次のCTAボタンを変えた5つでは重複が発生するので合計9個ですが、何はともあれテストすべきデザイン案を減らす目的では理にかなったアイデアに聞こえます。アリスは良いアイデアだと思ったものの、直感的に、それでは何か大事なものを見過ごしているような気もしました。これは今までに学んできた、各要素の効果を統計モデルで扱う手法とは何かが違います。この「順々に決めていく」実験の方法は、一体何を意味するのでしょうか？ ...