Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

3.4

 物理学書のコーパス

■

45

top_n(15) %>%

ungroup %>%

ggplot(aes(word, tf_idf, fill = book)) +

geom_col(show.legend = FALSE) +

labs(x = NULL, y = "tf-idf") +

facet_wrap(~book, ncol = 2, scales = "free") +

coord_flip()

図3-4 でも、まだすべての単語が固有名詞です。

tf-idf

で計測すると、これらの単

語が各小説で最も重要な単語だということですが、ほとんどの読者はこの結果に納

得するでしょう。ここで

tf-idf

を計測してわかったのは、ジェーン・オースティンが

6

冊の小説全体を通じて同じような言葉を使っており、ある作品をほかの作品から

分けるものは、人や場所の名前である固有名詞だということで

す。これが

tf-idf

のポ

イントです。

tf-idf

は、文書のコレクションの一部としての文書において重要な単語

を探し出します。

3.4

 物理学書のコーパス

今度は別のコーパスを使って、それぞれの仕事において、どの単語が重要かを調

べてみましょう。ただ別のコーパスというだけでなく、虚構と物語の世界から離れ

ます。

Project Gutenberg

から物理学書の古典を何冊かダウンロードして、

tf-idf

を計

算し、それぞれの仕事の中の重要語を探し出します。ガリレオ・ガリレイの『浮体に

つ い て 』（Discourse ...