
3.3
クラスタリング
61
図3-3
3.3.2
テストデータを用いて評価を行う
これまで見てきた簡単な例はここで終わりにします。クラスタリングの評価を行うため、評価が行え
るようなデータセットを用いて、私たちがこれまで考えてきたアプローチを評価したいと思います。そ
のために、「技術」をテーマとした文書で、すでにグループ分けされているモノを用います。すでにグ
ループ分けがされているため、アルゴリズムが期待通り分類できるかどうか評価することができます。
よく使われるデータセットの一つに、「20newsgroup」というデータセットがあります。これは、20個
のニュースグループから集められた18,826個の文書が含まれています。ニュースグループには、
comp.sys.mac.hardwareやsci.cryptといった技術系を扱うサイトや、talk.politics.guns、soc.religion.
christianといった政治や宗教
に関連したサイトなど、様々な分野が含まれます。ここでは、技術系を
扱うグループだけを対象とします。そして、技術系の各ニュースグループが各文書が属するクラスタ
であると見なすことにします。そうすることで、各文書の正解となるラベル(クラスタ)がわかってい
るため、都合良く評価を行うことができます。
データセットは、
http://people.csail.mit.edu/jrennie/20Newsgroups
からダウン
クラスタリング(2回目のループ)
単語1の重み