Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

36

■

3

章 単語の出現頻度と特定の文書での出現頻度の分析：

tf-idf

tf-idf

統計量は経験則であり、大まかな方法です。テキストマイニングやサーチエ

ンジンで役に立つことは実証されていますが、情報理論の専門家たちから見れば、

理論的な基礎がしっかりしているとは言えません。ある単語の逆文書頻度は、次の

ように定義されています。

idf

（単語）＝

log

（

n

文書

）

n

単語を含む文書

tf-idf

分析には第

1

章で説明した整理データ原則を応用でき、いつもの効果的な

ツールを使えば、コレクションの一部としての文書におけるさまざまな単語の重要

度を数量化することができます。

3.1

 ジェーン・オースティンの小説における

単語出現頻度

最初に、ジェーン・オースティンの小説を題材として取り上げましょう。まず単

語出現頻度（

tf

）を調べてから、

tf-idf

を調べます。今回も

group_by()

や

join()

といっ

た

dplyr

の使いなれた関数で作業を始めることが可能です。ジェーン・オースティ

ンの小説の最頻出語は何でしょうか（あとで必要になるので、ここで各小説の総単

語数も計算しておきます）。

library(dplyr)

library(janeaustenr)

library(tidytext)

book_words <- austen_books()

%>%

unnest_tokens(word, text) %>%

count(book, word, sort = TRUE) %>%

ungroup()

total_words ...