データサイエンス設計マニュアル

134 5 章 統計分析

ンダムな順列よりも実データの方が差が大きくなることを期待することになる。

統計量の選択では創造性を発揮しよう。パーミュテーションテストの力は、主張を証明するために何を持

ち出しても対応できるところにある。自分の名誉のために、同点はあなたの仮説に反するものとして数えな

ければならないので、同点になることが少ない統計量が望ましい。

今後の課題

パーミュテーションテストは、標本を無作為に並べた分布でのランクと比べて、実際の統計量が

外れ値になっていることを示そうとするが、これは仮説を出発点としてデータが得られる確率を

探ろうとするということである。これは、他の統計的有意性検定がデータを出発点として仮説を

証明しようとするのとは逆になっている。しかし、こういうものでもないよりはマシである。

パーミュテーションテストから得られる有意水準、p 値は、ランダムな順列による試行を何回するかに

よって大きく左右される。ランダムな順列による試行を少なくとも 1,000 回、可能であればもっと多く行う

ようにしよう。試した順列の数が多ければ多いほど、得られた p 値は明確になるが、限度はある。与えられ

た入力が、取り得る k! 種類の順列の中で最高のものなら、ランダムな順列をいくら試しても、1/k! よりも

極端な p 値は得られない。その場合、いくら試行を重ねても、分母が大きくなるだけで、仮説の正しさに対

する確信度は上がらない。

今後の課題

p 値は

、観察が現実的で有意なものであるというあなたの自信