Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

■

35

3

章

 

単語の出現頻度と特定の文書

での出現頻度の分析：

tf-idf

文書の何らかの側面を数量化することは、テキストマイニングや自然言語処理の

中心にある問題の

1

つです。では、文書を構成する単語に注目すれば、これができ

るのでしょうか。第

1

章でも行った単語出現頻度（

term frequency

：

tf

）、すなわち文

書内での単語の出現頻度は、

1

つの単語がどれぐらい重要かを示す尺度の

1

つになっ

ています。しかし、文書の中には、出現頻度が高くても重要ではない単語がありま

す。英語の場合、「

the

」、「

is

」、「

of

」といった単語がそれにあたります。そういった

単語をストップワードリストに追加し、分析の前に取り除くという選択肢もありま

すが、文書によっては、これらの単語が重要な意味を持つ場合があります。ストッ

プワードリストは、単語出現頻度分析における頻出するけれども重要でない単語へ

の対策方法としてそれほど

洗練されたものではありません。

もう

1

つの対策方法として、逆文書頻度（

inverse document frequency

：

idf

）に注

目するというものがあります。これは、一般的にはあまり頻出しない単語を頻出す

る単語よりも重視する数値です。これと単語出現頻度を組み合わせて、単語の tf-idf

（

tf

と

idf

の積）を計算すれば、普段はあまり使われない単語の頻度の高さが強調され

ることになります。

tf-idf

は、ある単語の

1

つの文書の中での重要度が、その文書を含む文書

のコレクション（または