
84
5
章 クラス分類:悪い回答を判別する
5.1
本章のロードマップ
私たちの作成するシステムは、現実世界のデータを対象とします。そのため、それらのデータには
ノイズが含まれることになります。100%の正解率を達成するような定番の方法は存在しないため、
本章は非常に困難なものになるでしょう。また、問題を難しくしている要因としては、回答の内容が
良いかどうかということは人によって意見が分かれる、という事実にも起因するでしょう(
stack
overflow.com
でユーザのコメントをいくつか見れば、それがわかると思います)。このような問題は
とても難しいため、達成したいことを途中で調整し、進むべき方向を修正する必要があることがわかっ
てくると思います。
本章ではこの問題に対して、まずはじめに最近傍法を用います。すぐに最近傍法では上手くいかな
いことがわかると思うので、次にロジスティック回帰を用います。ロジスティック回帰を用いれば、
文書の質について良い
予測ができますが、一部の回答に対してしか上手く機能しないこともわかるで
しょう。最後に、最終的に採用する手法をどのように選択するか、ということについて論じることに
します。
5.2
良い回答を分類する
クラス分類を行うとき私たちがやりたいことは、与えられたデータに対して、対応するクラスを見つ
けることです。この対応するクラスはラベル(label)とも呼ばれます。ラベル付けを行うためには、次
の二つの質問に答える必要があります。
●
データをどのように表現すべきか?