データ主導の組織の作成

第8章. A/Bテスト

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

一貫して#abtestingを使ってデータに基づいた意思決定を行っている者は、アイデアの成功率の低さに不変の屈辱を味わっている。

ロン・コハビ

実験やデータ、テストのポイントは、自分が正しいことではない......最終的に正しい答えを導き出すためには、これらのテストから得られる情報が必要なのだ、という事実を受け入れることができた。

PJ・マコーミック¹

1998年、、アマゾンの初期のエンジニアの一人であるグレッグ・リンデンは、あるアイデアを思いついた。レジでおすすめ商品を作成してはどうだろう？スーパーマーケットでは、衝動買いを刺激するためにレジにお菓子を置いている。それは効果的だ。Amazon.comのカートを覗いて、顧客が喜びそうな、パーソナライズされた関連性のあるレコメンデーションをするのはどうだろう？彼はプロトタイプをハックして動作させ、周囲に見せた。物語の続きは、彼自身の言葉で語るのが一番だ：

反応は好意的だったが、懸念もあった。特に、あるマーケティング担当上級副社長は断固として反対した。彼の主な反対意見は、チェックアウトの手間を省くことになるのではないかというものだった。確かに、ネット通販では、顧客がレジでカートを放棄するのを見るのはずっと簡単だし、よくあることだ。

この時点で、私はこれ以上の作業を禁じられた。アマゾンはこの機能を立ち上げる準備ができていないと言われた。そこで止めるべきだった。

その代わり、オンラインテストのために機能を準備した。私はショッピングカートの推奨を信じていた。売上への影響を測定したかった。

私がテストを押し出していることを知ったSVPは怒ったと聞いている。しかし、トップといえどもテストをブロックするのは難しかった。測定は良いことだ。テストに反対する唯一の正引数は、悪影響が深刻すぎてアマゾンにその余裕がなくなるかもしれないということだろう。テストは実施された。

結果は明らかだった。勝っただけでなく、この機能は大差で勝利し、この機能を稼働させなかったことで、Amazonは顕著な小銭の損失を被ったのだ。新たな緊急性をもって、ショッピングカートのレコメンデーションが開始された。

グレッグは幸運だった。それがうまくいったからというよりも（もちろん、それは重要なことだ）、当時でもAmazonには十分なテストインフラとデータ主導の文化があり、彼がテストをロールアウトすることができたからだ。彼はその価値を証明し、展開し、収益に影響を与えることができた。

多くの状況、特に目新しい状況において、私たちの直感や直観は乏しい。私たちはしばしば結果に驚く。信じられないだろうか？オンライン実験の例をいくつか見てみよう。 一つ目は、広告の行動喚起である。クリックスルー率 （CTR）において、どちらが、どれくらい勝っただろうか？

• 初回購入10ドル割引今すぐオンラインで予約する！
• さらに10ドル割引。今すぐオンラインで予約する。

答えは、2番目のバージョンが最初のバージョンの2倍のCTRで勝ったということだ。²では、図8-1のペアはどうだろう（違いがわかるだろうか？

左のバージョンは、コンマが1つ追加されたことで文法的に正しくなっており、8％の差で勝利した。

図8-1. CTRの点で、どちらのバージョンがより良いパフォーマンスを示したのだろうか？左側の文法的に正しいバージョンのCTRは8％高かった（4.4％対4.12％）。同上。 ...