
24
2
章 信頼性〜なぜ確信できなくてはいけないか
?
たとえば
RDBMS
上のトランザクション負荷のための
TPC-C
ベチマークなどに対しては、懐疑的な意
見も多くあります。
限界とバイアス
高品質のエビデンスでさえ大抵は部分的なものです。現象は直接評価できないのが普通ですから、私
たちは、その現象の帰結で評価可能なものを調査したり、現象の一部だけを調べたり、現象を特定の観
点から観察したり、関心事項に何らかの形で関連していることを期待して測定可能な別のものを観察し
ます。測定メトリクスは現象をお手軽かつ簡潔に表現ないし反映したものです。しかし、測定メトリク
スは多くの場合、現象そのものではなく、簡単化されたものです。高い信頼性のためには、メトリクス
選択の妥当性を示す必要があります。
さらに悪いのは、エビデンスにはバイアスがかかっている可能性があることです。昔ながらの中性洗
剤の広告(「○○ならもっとたくさんのお皿がピカピカに……」)で示される「ブラインドテスト」
や消費
者実験の類に確信を持てるソフトウェア技術者が一体何人いるでしょう。広告規制法では、このような
消費者実験は条件比較ができるようにするための一定の基準に従わなくてはいけないことになっていま
す。同じ汚れで、同じ水と、同じ量の洗剤を使うことなどです。しかし広告主の方は、その条件を思う
ままに作ることができるので、汚れの種類や水の温度などの事項を自社商品向けに最適化したりします。
「はあ?」ですよね、「バイアスが組み込まれているじゃない」。しかし、ソフトウェア工学の手法やツー ...