
276
10 章 テキスト表現とテキストマイニング
テキストデータの分析は、テキスト以外の重要なデータ形式をよりよく理解するための助け
にもなるでしょう。この章ではテキストデータのみを扱いますが、この章で扱う基本的な原
則を一般化して、他の種類のデータに対しても同様な考え方を適用することができます。こ
のことは、
14
章でも再度説明します。
実は、この本では既にテキストについて一度取り上げています。アップル社に関するニュー
ス記事をクラスタリングする例を取り上げた、「
6.4.4
例:ビジネスニュース記事をクラスタ
リングする」です。しかしそこではあえて、どうやって記事を準備したのか、といった点に
ついて詳細を説明することを避けていました。と言うのも、前述の節はあくまでもクラス
タリングにフォーカスしていたからです。そしてその前提に立つならば、テキストの準備と
いう話題は雑音にしかなりません。一方でこの章ではテキストデータに着目していきますの
で、どのような場合にテキストを扱うのか、またそれがどれほど困難なことなのか、といっ
た話題に専念していくことにします。
原則として、テキストはデータの表現方法の一種でしかなく、テキスト処理は、表現に対
するエンジニアリングの特殊ケースにすぎません。しかし実際にテキストを扱おうとする
と、専用の前処理が必要になり、ときにはデータサイエンス領域の専門知識が必要となるこ
とさえあります。現在、さまざまな本やカンファレンス、そして企業がテキストマイニング
をテーマとして扱うようになっています。この章では、そのテーマの一部を紹介することし ...