Making Software ―エビデンスが変えるソフトウェア開発

388

22

章 デザインパターンのエビデンス

えば

80%

に）保ちたいのです。そうでなければ、何も見つけられない（結果を明らかにできる確率が低

すぎて実験が何も示さない）という結果につながるからです。ここで検定力分析の出番です。手順はだ

いたい次の通りです。まず事前テストで、少数の被験者を用いておおよその効果の大きさを求めます。

次にこの情報をもとに、どれだけの検定力と有意性を得るために必要な被験者数がどれくらいかを見積

もります。幸いなことに、私たちの実験では効果の大きさが十分あったので、たまたま得られた被験者

数で足りていました。効果の大きさが小さい場合、被験者数はすぐに

80

人とか

120

人とかになってし

まい、それだけの被験者を集めるのは大変です。検定力分析は、たとえば［

Howell 1999

］の第

15

章など、

統計の本に解説されています。

R

などの統計パッケージでは、検定力分析がパッケージとして用意され

ています。実験を始める前に、十分な被験者数を

確保するように気をつけてください。そうしないと、

永遠に追加の被験者を探し続ける羽目になってしまいます。

私たちが最初認識していなかったもう

1

つの問題は、解法の正しさと被験者が要した時間を独立に分

析することはできない、ということです。明らかに、お粗末な解答を出すのならそれほどの時間は掛か

りませんが、良い解答にはそれなりの時間が掛かります。後から思えば当たり前なのですが、作業時間

をむやみに比べてもダメなのです。作業時間は同等の品質であることを前提として比較しなくてはいけ ...