実践 機械学習システム

3.1

 文書の関連性を計測する

47

集距離」の考え方は、単語の順番について、あまりロバストであると言えません。

3.1.2

　どうやるべきか

編集距離よりロバストな手法は、bag-of-wordsと呼ばれるアプローチです。この手法はとてもシン

プルであり、単語の出現回数を特徴量として用います。文書の各単語に対して、出現回数をカウント

し、結果をベクトルで表記します。驚くことではないと思いますが、この段 階はベクトル 化

（vectorization）と呼ばれます。一般的にベクトルのサイズは大きくなります。なぜなら、ベクトルのサ

イズは、全データセット中に存在する単語の種類の数と同じサイズになるからです。先ほど見た二つ

の文書の例について、単語の出現回数は表3-1のようになります。

表3-1　単語の出現回数

単語 文書1での出現回数 文書2での出現回数

disk 1 1

format 1 1

now 1 0

hard 1 1

my 1 0

problems 0 1

to 1 0

文書1と文書2の列は、ベクトルとして扱うことができます

†

。このようにベクトル化すれば、データ

セット中の全ての文書間でユークリッド距離を計算することができ、最近傍点を見つけることができま

す（すぐわかることですが、この方法では時間がかかり過ぎます）。また、各サンプルデータを特徴ベ

クトル（feature vectors）の形で扱うことで、クラスタリングを行うことができます。

それでは、クラスタリングについて見ていくことにしましょう。次に示すのは、