戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

278

10 章　テキスト表現とテキストマイニング

単語は、長さが変わることもありますし、テキストも、含まれる単語の数が変わることが

あります。また、単語の順序が問題になることもあれば、ならないこともあります。

データとして見たとき、テキストは比較的「汚い」データであると言えるでしょう。文法

が無視されていたり、スペルが誤っていることはもちろん、単語が混ざって使われていた

り、思わぬ短縮が使われていたり、またランダムに句読点が打たれていることがあります。

これらの問題がない完璧なテキストであっても、同義語や同形異義語が含まれている可能性

があるため、テキストの意味は一意には定まりません。また、ある分野における専門用語や

略語は、他の分野では意味をなさないかもしれません。医療記録の分野とコンピュータの修

理の分野で、用語が共有されていることを期待してはならず、最悪の場合は、むしろ矛盾し

ていることさえ覚悟した方が良いでしょう。

繰り返しになりますが、テキストは人と人とのコミュニケーションのためのデータ形式で

す。そのため、他のデータ形式よりもコンテキスト（文脈）がとても大事になります。例と

して、以下の映画レビューの抜粋について考えてみましょう。

「この映画の前半は、後半よりかはだいぶましだ。演技は下手で、最後まで始末に負えず、

暴力は過度に表現され、しかも信じられない結末がある。しかし、それでも楽しんで見る

ことができる。」

この感想は、全体として映画に好意的なのでしょうか。それとも否定的なのでしょうか。

「信じられない」という単語はポジティブな意味で使われているのでしょうか ...