
82
■
5
章 未整理形式へ(から)の変換
スタディにつないでいきます。
コーパス
オブジェクト
コーパス
オブジェクト
テキスト
集計データ
テキスト
データ
可視化
整理テキスト
センチメント
辞書
DTM
コーパス
オブジェクト
unnest_tokens
tidytext
count
dplyr
ggplot2
inner_join
dplyr
tm
quanteda
tidy
tidytext
tm,
quanteda
cast_dtm
cast_dfm
tidytext
tidy
tidytext
dplyr, tidyr
tm, quanteda
group_by
summarize
dplyr
dplyr, tidyr
図5-1 tidytextとその他のツール、データ形式(特にtm、quantedaパッケージ)を併用する
典型的なテキスト分析のフローチャート。この章は、DTMと整理データフレームの
相互変換とコーパスオブジェクトの整理データフレームへの変換の方法を説明する。
5.1
DTM
の整理
DTM
(文書
-
単語行列、
https://en.wikipedia.org/wiki/Document-term_mat
rix
)は、
テキストマイニングパッケージの操作対象として最も広く使われているデータ構造
の
1
つで、次のような特徴を持っています。
●
各行は、
1
つの文書(本や章)を表します。
●
各列は、
1
つの単語を表します。
●
個々の値は、(一般に)その単語の文書内における出現頻度です。
文書と単語のほとんどの組み合わせは出現回数なし(値
0
)