
7.3
P
が
N
より大きい場合
149
7.3
P
が
N
より大きい場合
この節には専門的なタイトルが付けられています。「PがNより大きい(P greater than N)」
―
こ
れが本節で学ぶテーマです。1990年代に始まり、初めは生物医学の分野で、続いてWebの分野で「P
がNより大きい」という問題が考えられるようになりました。Pは特徴量の数、Nはサンプルデータの
数を意味します(P、Nという頭文字は統計の分野で慣習的に用いられてきました)。そして、特徴量
の数がサンプルデータの数より大きいことが「PがNより大きい」という表現で知られるようになりまし
た。
たとえば、何かが書かれたテキストの集合を入力として用いる場合を考えます。その場合、単純な
アプローチとしては辞書に存在する単語を特徴量として回帰を行うことができます(後ほど、そのよう
な問題を扱います)。英語という言語には、20,000以上の単語が存在するでしょ
う(この数字はステミ
ングを行って、共通単語だけ考慮した場合の数字です。そうでなければ、10倍以上の単語を考慮しな
ければならないでしょう)。サンプルデータが数百または数千の場合、サンプルの数より特徴量の数の
ほうが大きくなります。
この場合、サンプル数より特徴量の数のほうが大きいため、訓練データに対して完全にあてはめる
ことが可能です。これは数学的に証明することができます。連立方程式の数が変数の数より小さい場
合、常に連立方程式の解を求めることができることを思い出しましょう(実際、連立方程式を満