データサイエンスのための統計学入門 第2版 ―予測、分類、統計モデリング、統計的機械学習とR/Pythonプログラミング

98

■

3

章 統計実験と有意性検定

この現象の裏返しは、私たちが実世界で

6

回の表が出ることに相当する事象

（例：ある見出しが他より

10 %

良い）に出会うと、そこには偶然ではなく何かが

あると思ってしまうということだ。

適切に設計された

A/B

テストでは、処置

A

と処置

B

との収集データは、

A

と

B

との相

違が観測されたとすれば、それは次のいずれかによるものだ。

●

被験者の無作為抽出の偶然による。

●

A

と

B

との真の差による。

統計的仮説検定は、

A/B

テストあるいは無作為抽出実験の分析をさらに進めて、

A

と

B

との観測された差が偶然によるという説明が妥当かどうかを評価するものだ。

3.2.1

 帰無仮説

仮説検定では、次のような論理を用いる。「普通ではないランダムな振る舞いに対し

て、何か意味があり現実の何かだと解釈する人間の傾向を与えられたとき、我々の実

験においては、グループ間の差は、偶然によって起こるよりも極端であることを証明す

る必要がある」。これは、両方の処置が等価であり、グループ間の差は偶然によるもの

だという基本的な仮定が含まれる。この基本的な仮定を帰無仮説と呼ぶ。そして、こ

の帰無仮説が正しくないことを証明しようとして、グループ

A

とグループ

B

との結果は、

偶然によるよりも大きな差を生み出していることを示そうとする。

これを行う方法の

1

つに並べ替えリサンプリング手続きがある。これは、グループ

A

と

B

の結果をシャッフルして、同じサイズのグループのデータを繰り返し用いて、観測

された差と同じ差がどのくらい得られるか ...