
■
1
1
章
整理テキスト形式
整理データ原則(
tidy text principal
)は、データの効果的で簡単な処理のために威
力を発揮し、それはテキストを扱うときにも同様です。
Hadley Wickham
(
Wickham
2014
)が書いているように、整理データは決められた構造を持っています。
●
個々の変数を
1
つの列にします。
●
個々の観測を
1
つの行にします。
●
個々のタイプの観測の単位が表です。
これを基に、整理テキスト形式とは、1 行に 1 つのトークンからなる表と定義し
ます。トークンとは、テキストの単位として意味のあるもの(たとえば単語)のこと
で、分析のときに注目する対象です。トークン化とは、テキストをトークンに分割
する処理です。
1
行
1
トークンという構造は、現在の分析でよく使われている文字
列や
DTM
(
document-term-matrix
:文書
-
単語行列)といった格納形式とは対照的で
す。
整理テキストマイニングでは、各行に格納されるトークンは
1
つの単語になる
のが普通ですが、
n
グラムやセンテンス(
sentence
)、段落(
paragraph
)になること
もあります。
tidytext
パッケージには、これらのよく使われる単位でテキストをトー
クン化関数や、
1
行
1
トークンの形式に変換する関数が含まれています。
整 理 デ ー タ セ ッ ト は、
dplyr
(
Wickham and Francois 2016
)、
tidyr
(
Wickham
2016
)、
ggplot2
(
Wickham ...