Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

■

53

4

章

 

単語間の関係：

n

グラムと相関

今までは独立した単位としての単語と単語がセンテンスや文書との間に持つ関係

について考えてきました。しかし、ある単語の後ろによく現れる単語を調べたり、

同じ文書の中で共起

＊

1

することが多い単語の間の関係からも多くの面白いテキスト

分析ができます。

この章では、テキストデータセットに含まれる単語間の関係を計算し、可視化す

るために使える

tidytext

のメソッドを紹介します。たとえば、個々の単語ではなく、

隣り合う単語のペアによってトークン化する

token = "ngrams"

などです。また、

2

つの新しいパッケージも紹介します。

Thomas Pedersen

が作った

ggraph

（

https://

github.com/thomasp85/ggraph

）は

ggplot2

を拡張してネットワーク図を描きます。

widyr

（

https://github.com/dgrtw

o/widyr

）はペアごとの相関や整理データフレーム

内での距離を計算します。

4.1

 

n

グラムによるトークン化

今までは、

unnest_tokens

関数を使って単語単位、あるいはセンテンス単位でトー

クン化してきました。今まで行ったセンチメント分析や頻度分析ではこれらが役に

立っていました。しかし、

unnest_tokens

は、nグラム（

n-gram

）と呼ばれる連続し

た単語のシーケンスへのトークン化も実行できます。単語

X

の後ろに単語

Y

が続く

頻度を調べれば、それらの間の関係を示すモデルを作ることができます。 ...