
50
■
3
章 単語の出現頻度と特定の文書での出現頻度の分析:
tf-idf
ggplot(plot_physics, aes(word, tf_idf, fill = author)) +
geom_col(show.legend = FALSE) +
labs(x = NULL, y = "tf-idf") +
facet_wrap(~author, ncol = 2, scales = "free") +
coord_flip()
図3-6 物理学の古典に含まれるtf-idfの高い単語
図3-6 からわかるように、今日の物理学においては、城壁(
ramparts
)という言葉
や「物質はエーテルである」という発言は聞くことはないでしょう。
3.5
まとめ
tf-idf
(単語出現頻度と逆文書頻度)を使うと、小説でも物理学の文書でも
Web
ペー
ジでも、文書のコレクションの中にある
1
つの文書で特徴的な単語を探し出すこと
ができます。単語出現頻度だけを掘り下げていっても、自然言語のコレクションの
中で言語がどのように使われているかについての知見が得られます。そして、
dplyr