Making Software ―エビデンスが変えるソフトウェア開発

29

エビデンスの種類、その強さと弱さ

■明確なリサーチクエスチョン

明確に表現され曖昧さのないリサーチクエスチョンこそが、すべての信頼性の源となります。なぜな

ら、著者が自分たちの探し求めていたものを説明しないなら、それがあなたにとって信頼できるものと

分かるはずもないからです。リサーチクエスチョンは鐘と太鼓で宣伝する必要はありませんが、概要や

「はじめに」の節に、はっきり分かるように書かれているべきです。

リサーチクエスチョンが書かれてはいても、それが漠然としていることも、しばしばあります。その

ような場合、結果は同様に漠然としたものであるか、または偶発的で手当たり次第といったものになる

でしょう。そのような調査でも読者の興味を惹くに足る場合がありますが、信頼性はよくて中程度でしょ

う。

■調査設定の十分な記述

調査の設定を理解できるかどうかが、信頼性の肝であり、報道発表と科学的報告の主たる違いです。

最高に魅力的

な結果でも、水晶玉を見つめて作り出されたものであれば、信頼性はほとんどありません。

「

600

人ほどの参加者による実地調査によって、

Java

が

C++

よりもほぼすべての点で優れていること

が示された。プログラミングの所要時間は

11%

、デバッグの時間は

47%

短くなり、長期的な設計の安

定は

42%

改善された。

C++

プログラムでは実行時性能のみ、

Java

よりも

23%

優れていた。」という記

述を読めば、かなり印象的かもしれません。

全く同じ結果が、質問調査という手段から得られたと知れば、かなり信頼度は低くなります。さらに、 ...