Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

60

■

4

章 単語間の関係：

n

グラムと相関

その分、非常に大規模なテキストデータセットでは、バイグラムはとても役に立ち

ます。

4.1.3

 センチメント分析にコンテキストを反映させるための

バイグラムの活用

第

2

章で行ったセンチメント分析は、単純にセンチメント辞書に従ってポジティ

ブな感情の単語とネガティブな感情の単語の出現頻度を数えただけでした。この方

法には、単語のコンテキストが単語の存在と同じくらい重要な意味を持つことがあ

り得るのに、それを無視してしまうという問題があります。たとえば、「

happy

」、

「

like

」といった単語は、「

I

’

m not

happy

and I don

’

t

like

it!

」に含まれていても、ポジティ

ブと数えられてしまいます。

今度はデータをバイグラムにまとめているので、単語の前に「

not

」などの単語が

入っている場合がどれくらいあるいかは簡単に見分けられます。

bigrams_separated %>%

filter

(word1 == "not") %>%

count(word1, word2, sort = TRUE)

## # A tibble: 1,246 x 3

## word1 word2 n

## <chr> <chr> <int>

## 1 not be 610

## 2 not to 355

## 3 not have 327

## 4 not know 252

## 5 not a 189

## 6 not think 176

## 7 not been 160 ...