
A/Bテストは科学であり、推測ではない
診断型デザインとは、エビデンスを集め、それに基づいて仮説を立て、そしてその仮説
を検 証するため にテ ストすることだ 。 A/Bテストは 、 新しい デ ザ インと古 い デ ザイン の 間 で
ユーザーを分割し、どのデザインが最も多くのクリック数、コンバージョン数、いいね数、
ヤギの数など(どんな指標でもOK)を多く得られるかを測 定 することだ。
A/Bテストは適切に行えば、新しいデザインがより良く機能することの証明になる。 以
下 に ル ー ル を 挙 げ て おこう。
ルール 1:A/Bテ ストク ラ ブ
*1
に つ い て語るべ からず 。 … … い や 、 待 てよ。 語ったほ
うが良い結果が出るなら、そうすればいい。
ルール 2:主観的な仮説に焦点を当てる。仮説が感情的、文化的、または単にユー
ザーの好みに基づいている場合、客観的または明確に測定することが難しい。A/B
テストはそんなときにあなたを助けてくれる。
ルール 3:統計的有意性を待つ。必要なユーザー数に達する前にA/Bテ ストを 停 止
すると、何も学んでいないことになる。どのバージョンが勝ちそうだったかは関係ない。
ルール 4:当てずっぽうでテストしない。デザインの診断を適切に行っていれば、A/
Bテストの半分以上はポジティブな結果になるはずで、10%や 20%の改善を見ること
は 珍 しくな い 。 当 て ずっ ぽ う で テ ストを し て し まう と「 1% 良 くな っ た