戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

306

10 章　テキスト表現とテキストマイニング

10.8

 まとめ

私達が抱える問題は、データが常に、整理された特徴ベクトルの形式で提供されるわけで

はない、ということです。つまり、そのままではデータは多くのデータマイニング手法のイ

ンプットとして利用できないということです。そのため、現実世界の問題は多くの場合、ま

ずデータをマイニング可能な形式へと変換することを要求します。一般的に、まずは既存

のツールが適用可能となるよう、データを加工する方がシンプルに行えます。テキスト、画

像、サウンド、映像、空間情報等に含まれるデータは特殊な前処理が必要ですし、またとき

にはデータサイエンスチームが持つ、特殊な知識まで必要となることもあります。

この章では、前処理が必要なデータ形式のうち、特に広範囲にわたって普及している、テ

キストについて説明してきました。テキストを特徴ベクトルに変換する一般的な方法は、そ

れぞれのドキュメントを個々の単語に分解（「

bag-of-words

」表現に変換）し、

TFIDF

を用

いてそれぞれの用語に値を割り当てていくことです。このアプローチは比較的シンプルであ

り、低コストかつ汎用性があり、また少なくとも最初は対象分野の知識をほとんど必要とし

ません。この手法は、そのシンプルさにも関わらず、さまざまな課題に対して驚くほど有効

に作用します。実際、テキストとは全く異なる対象についても、

14

章で再度このアイデアを

検討してみることにします。