戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

283

283

10.3　テキスト表現

10.3.3

 希少性の測定：逆文書頻度

頻度（

frequency

）という用語は、単一のドキュメント内で、ある用語がどれだけ広く行

き渡っているのかを測定します。また、ある用語の重みを決めるためには、単一のドキュメ

ントに限らず、解析対象のコーパスすべてで、ある用語がどれだけ一般的か、ということも

測定する必要があるでしょう。そのような場合に、相反する

2

つの考え方があります。

1

つ目の考え方は、用語は「レア」すぎてはいけないということです。例を挙げてみましょ

う。一般的にはあまり使われない、「

prehensile

」

†

という単語が、解析中のコーパスの、ある

ドキュメント内に出てきたとします。この用語は重要なのでしょうか。それはわかりませ

ん。この用語が重要かどうかは、何に利用するか次第です。検索に利用する場合、ユーザは

正確な単語を探しているため、この用語はおそらく重要です。しかしクラスタリングに利用

するのであれば、たった一度しか出てこない用語は重要ではないでしょう。そのような用語

は、意味のあるクラスタの基準にはなりません。このような理由から、テキスト処理を行う

システムでは、通常は、ある用語が出現するドキュメントの数に小さな（任意の）下限を設

定し、その下限を超えたものを用語として扱います。

もう

1

つの考え方は、用語は「一般的」すぎてもいけないと言うことです。すべてのド

キュメントに出現する用語は、分類という観点では有用ではなく（そのような用語は何の区

別にも使えません） ...