Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

1.3

 ジェーン・オースティンの作品の整理

■

5

引数（この場合は

text

）は、テキストの供給源である入力列です。上の

text_df

には、

分析したいデータが含まれている

text

という列が含まれていたことを思い出してく

ださい。

unnest_tokens

を実行すると、入力の各行が分割され、新しいデータフレームで

は各行に

1

つのトークン（単語）が含まれるようになります。

unnest_tokens

のデフォ

ルトのトークン化処理は、ここに示すように、

1

語ずつへの分割です。また、次の

ような処理が行われていることに注意してください。

●

ほかの列（この場合は、個々の単語がどの行に含まれているか）は残されます。

●

句読点、記号は取り除かれます。

●

デフォルトでは、

unnest_tokens

はトークンを小文字に変換するため、ほかの

データセットと比較、結合しやすくなっています（この操作は、

to_lower =

F

ALSE

引数を指定すれば行われません）。

テキストデータをこの形式にすれば、図 1-1 に示すように、

dplyr

、

tidyr

、

ggplot2

などの標準的な整理ツールセットでテキストを操作、処理、可視化することができ

ます。

整理テキスト

テキスト

集計データ

テキスト

データ

可視化

unnest_tokens

tidytext

count

dplyr

ggplot2

dplyr, tidyr

dplyr, tidyr

図1-1　整理データ原則を使った典型的なテキスト分析のフローチャート

1.3

 ジェーン・オースティンの作品の整理 ...