Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

4.2

 

widyr

パッケージによる

2

つの単語の出現頻度と相関

■

75

4.2.2

 ペアごとの相関

「

Elizabeth

」と「

Darcy

」のようなペアは共起する頻度が最も高いと言っても、独立

した単語としても頻出するので特別大きな意味はありません。それよりも、単語の

相関（

correlation

）、つまり別々に出現する頻度と比べていっしょに出現する頻度が

高いかどうかの方が意味があります。

ここでは特 に

2

値相関の指 標 と し て よく使われるファ イ（φ）係 数（

https://

en.wikipedia.org/wiki/Phi_coefficient

）に注目しましょう。ファイ係数は、

X

と

Y

が

単独で出現する頻度と比べて、両方とも出現するかどちらも出現しない頻度がどれ

だけ高いかを示します。

表4-1 を見てみましょう。

表4-1　ファイ係数を計算するために使う値

Y あり Y なし 計

X

あり

n

11

n

10

n

1

・

X

なし

n

01

n

00

n

0

・

計

n

・

1

n

・

0

n

たとえば、

n

11

は、

X

と

Y

の

2

つの単語がともに含まれる文書、

n

00

は、どちらも

含まれていない文書、

n

10

と

n

01

は片方だけが含まれる文書を示します。この表の場

合、ファイ係数は次のようになります。

φ ＝

n

11

n

00

−

n

10

n

01

n

1

·

n

0

·

n

·

0

n

·

1

ファイ係数は、対象が

2

つの値のときには、ピアソン相関（どこかで聞い

たことがある名前かもしれませんが）と同等です。

widyr

の

pairwise_cor()

関数は、同じ節における出現頻度に基づき、 ...