仕事ではじめる機械学習 第2版

3章学習結果を評価するには

システムに機械学習を組み込んだときに、最初から満足できる結果が得られることはまれです。では、満足できる結果かどうかはどのように測るのでしょうか？ 本章では、機械学習の結果を評価する方法について解説します。

3.1　分類の評価

本節では、スパム分類の例を考えながら以下の4つの指標について紹介します。

• 正解率（Accuracy）

• 適合率（Precision）

• 再現率（Recall）

• F値（F-measure）

また、これらを考えていく上で重要な以下の概念についても説明します。

• 混同行列（Confusion Matrix）

• マイクロ平均（Micro-average）、マクロ平均（Macro-average）

3.1.1　正解率を使えば良いのか？

分類のタスクでは、正しく分類されたか否かで分類器の性能を見極めます。まずは一番シンプルな正解率（Accuracy）について考えてみましょう。

正解率は

として求めます。

例として迷惑メール（スパム）と普通のメール（非スパム）を分類する、メールのスパム分類について考えます。2値分類の例ですね。

届いたメール100件を人の手で確認した所、スパムの数が60件で普通のメールが40件でした。もし、すべてをスパムとする分類器があったとすると、正解率は60%です。

分類問題の場合、一般的にはランダムで出力した結果が性能の最低水準となります。2値分類の場合は2クラスがランダムに出力されるので正解率は50%に、3値分類の場合は3クラスがランダムに出力されるため平均的に正解すると正解率は33.3%になります ...