Rによるテキストマイニング ―tidytextを活用したデータ分析と可視化の基礎

■

81

5

章

 

未整理形式へ（から）の変換

4

章までは、整理テキスト形式、すなわち

unnest_tokens()

関数などで作られる

1

行

1

文書

1

トークンという形の表にまとめられたテキストを分析してきました。こ

うすることにより、

dplyr

、

tidyr

、

ggplot2

などの広く使われている整理ツールスイー

トでテキストデータを探索、可視化することができるようになります。そして、こ

れらのツールで示唆に富む多くのテキスト分析ができることを示してきました。

しかし、自然言語処理用に作られた既存の

R

ツールの大半は、

tidytext

パッケー

ジを除き、この形式を処理できません。自然言語処理の

CRAN

タスクビューページ

（

https://cran.r-project.org/web/views/NaturalLanguageProcessing.html

）には、ほか

の構造の入力を受け付け、未整理形式の出力を生成するパ

ッケージがたくさんリス

トアップされています。これらのパッケージは、テキストマイニングアプリケーショ

ンで非常に役立ち、既存のテキストデータセットの多くは、この形式に従って作ら

れています。

コンピュータ科学者のハル・アベルソンは、「個々の操作がいかに複雑で洗練さ

れていたとしても、システムの能力を直接最も大きく決定づけるものは、グルーの

質であることが多い」と言っています。この章では、その言葉に従い、整理テキス

ト形式とほかの重要なパッケージ、データ構造を結び付ける「グルー」（

glue

、糊）に

ついて ...