戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

292

10 章　テキスト表現とテキストマイニング

合もあります。ここでは、そのような技法のいくつかを簡単に説明していきます。

10.6.1

 

N-gram

シーケンス

これまで述べてきたように、

bag-of-words

では、個々の単語をすべて独立した

1

つの用

語として扱い、単語の順序については完全に無視していました。しかし、単語の順序が重

要で、表現形式内での順序情報を保存しておきたい場合もあるでしょう。さらに複雑になる

のは、隣接した単語同士のシーケンス（連なり、順序）を用語としてみなす場合です。例え

ば、あるドキュメントに「

The quick brown fox jumps

」という文章が含まれる場合、

2

つの

隣接した単語同士を

1

つの用語とみなす、ということであり、その場合この文章は、

{

quick

、

brown

、

fox

、

jumps

}

という文章を構成する個々の単語に加えて、

quick_brown

、

brown_fox

、

fox_jumps

というトークンも含めた集合に変換されることになります。

この一般的な表現形式は、

N-gram

（

N-

グラム）と呼ばれています。隣接した

2

つの単語

は、一般的に

bi-gram

（バイグラム）と呼ばれています。データサイエンティストがテキス

トの表現形式について、「最大

3

つまでの

N-gram

」という場合、それは単純に、個々の単語

に加え、隣接した

2

つの単語と、（もう

1

つ隣の語を加えた）

3

つの単語についても、それぞ

れのドキュメントの特徴の要素として扱う、ということです。

N-gram

は、特定のフレーズは重要だけれども ...