データサイエンスのための統計学入門 第2版 ―予測、分類、統計モデリング、統計的機械学習とR/Pythonプログラミング

140

■

3

章 統計実験と有意性検定

ほど多くの打席を必要としないが、

3

割

5

分の打者と

2

割

8

分の打者との差は、相当数

の打席が回ってきた後でないとわからない。

検定力は、指定された効果量を指定された標本特性（サイズと変動性）で検出する確

率だ。例えば、打率

3

割

3

分の打者と

2

割の打者との違いが

25

打席でわかる確率は（仮

の話として）

0.75

だとする。この効果量は、

1

割

3

分の差となる。「検出する」とは、仮

説検定が帰無仮説「違いがない」を棄却して実際に効果があると結論付けることだ。

2

人の打者の

25

打 席（

n

＝

25

）の 効 果 量

1

割

3

分の実験は（仮の話として）

0.75

すなわち

75 %

の検出力だ。

これには、複数の流動的な要因が絡むことがわかったはずだ。また、（標本分散、効

果量、サンプルサイズ、仮説検定のアルファ水準などを指定する）必要な統計的な仮定

や公式が多数あるので混乱しやすい。実際、検出力を計算する専用の統計ソフトがあ

る。ほとんどのデータサイエンティストは、例えば、論文発表で検出力を報告する正規

の手続きを踏む必要はない。しかし、場合によると、

A/B

テストのためにデータを収集

しようとしたら、そのデータ収集や処理に費用がかかることがある。その場合に、どの

くらいのデータが必要かをおよそでいいから知っておけば、努力してデータを集めたも

のの、結果から結論を出すことができなかったという状況を避けられる。次に、その手

続きを直感的に示す。

1.

データのもたらす結果について適切だと思われる（おそらくは過 ...