
トピックモデル
69
4
章
トピックモデル
前章では、テキストデータに対してクラスタリングを行いました。そこで学んだ手法はとても役立つ
のですが、必ずしも最適な手法とは限りません。クラスタリングは、各テキストデータを一つのクラス
タに割り当てます。ところで、本書は「機械学習」と「Python」についての書籍です。本書を分類す
るとしたら、「Python」に関連するグループと「機械学習」に関連するグループのどちらに分類すべき
でしょうか。紙の本を扱う本屋であれば、どちらの本棚(「Python」か「機械学習」)に並べるか決め
る必要があります。しかし、本書は「機械学習」と「Python」の両方を扱っています。そのため、どち
らの本棚にも並べられるべきでしょう。また、当然のことですが、本書は「料理」を扱う本棚には並べ
るべきではありません。
本章で学ぶことは、クラスタリングを行う手法ではなく、データをトピック(topic)と呼ばれるいく
つ
かの小さなグループに割り当てる方法です。また、テキストデータの中心的な話題とその他のそれほ
ど重要でない話題を見分ける方法についても学びます(たとえば、本書ではグラフなどの「可視化」に
ついて多く述べますが、それは本書のトピックではありません。本書のトピックとして適しているのは
「機械学習」でしょう)。機械学習において、このような分野をトピックモデル(topic modeling)と呼
びます。
4.1
潜在的ディリクレ配分法(
LDA
)
残念なことに、機械学習の分野では、LDAとい