
380
22
章 デザインパターンのエビデンス
由は、このグループは解答を設計しただけでなく、テストし修正まで行ったため、解答の質が均等になっ
たためでしょう。作業時間と解答の質を比較すると、パターンドキュメントなしの場合、ゆっくりの(能
力の劣る)被験者が非常に質の低い解答をしたこと、他方ドキュメントありでは質は作業時間とは関係
なかったことも分かりました。
時間と正しさに関する議論で、実験設計の欠点が明らかになりました。質と生産性の問題は厄介であ
り、お互いに依存し合っていたということです。明らかに、質を高めようとすれば時間も要するため、
長い時間かかることは必ずしもパターンが役に立たないという意味にはならないのです。これの意味す
るところは、解法の質が同じ時にだけ時間の比較は意味を持つ、ということです。私たちはこの問題を、
完全に正しい解法を比較することで是正しまたが、データの半数と統計的有意性が犠牲になりました。
反省としては、全員が合格しなけれ
ばならない達成テストを使うようにすれば、問題を避けられたのに
と思いました。結論のところで、この方法についてもう少し議論します。
全体として
And-Or-Tree
においてパターンを見つけられた場合、保守時間が短縮でき、より良い解
法が生み出せ、能力の低いプログラマでも正答を作り出すことができます。電話帳についての結果(こ
こには示していません)もまた、パターンドキュメントで時間の節約ができることを示しています。質
に関する結果は、データ欠損(多くの学生があきらめた) ...