Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

4.1

 

n

グラムによるトークン化

■

69

ネットワークをこのようにプレゼンテーションに使える形で描くためには、

ggraph

のパラメータをあれこれ操作しなければならないでしょう。しかし、ネット

ワーク構造は、整理データの関係を可視化するための手段としては、柔軟性が高く

便利です。

これはテキスト処理でよく使われるモデルであるマルコフ連鎖の可視化

だということに注意してください。マルコフ連鎖では、個々の単語の選

択が影響を受けるのは、直前の単語だけです。この場合、このモデルに

従って無作為に単語を出力するジェネレータは、個々の単語の後ろに続

くことの多い単語をたどって、「

dear

」を出力すると、次に「

sir

」を出力し、

さらにその次に「

william/walter/thomas/thomas's

」を出力します。ここ

では、見て理解できるようにするために、出現頻度の高い組み合わせだ

けを表示しましたが、テキストに出現するすべてのつながりを表現する

膨大なグラフを想像してみてください。

4.1.5

 ほかのテキストのバイグラムの可視化

バイグラムのクリーニング、可視化についてはかなりの作業を積み重ねてきまし

た。そこで、それを関数にまとめて、ほかのテキストデータセットにも簡単に実行

できるように

しましょう。

count_bigrams()

と

visualize_bigrams()

を実際に使うために、コードで

はこれらの関数を使うために必要なパッケージを改めてロードし直して

います。

library(dplyr)

library(tidyr) ...