Pythonデータサイエンスハンドブック ―Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習

380

5

章 機械学習

単語数に基づいてこのデータをベクトル化するには、「

problem

」という単語、「

evil

」という単語、

「

horizon

」という単語などを表す列を作成します。これを手作業で行うことも可能ですが、

scikit-

learn

の

CountVectorizer

を使用すれば退屈な作業を行わずに済みます。

In[7]: from sklearn.feature_extraction.text import CountVectorizer

vec = CountVectorizer()

X = vec.fit_transform(sample)

X

Out[7]: <3x5 sparse matrix of type '<class 'numpy.int64'>'

with 7 stored elements in Compressed Sparse R

ow format>

結果として各単語の出現回数を記録する疎行列（

sparse matrix

）が得られます。ラベル付きの列

を持つ

DataFrame

に変換すれば中身を簡単に確認できます。

In[8]: import pandas as pd

pd.DataFrame(X.toarray(), columns=vec.get_feature_names())

Out[8]: evil horizon of problem queen

0 1 0 1 1 0

1 1 0 0 0 1

2 0 1 0 1 0

しかし、このアプローチにはいくつかの問題があります。単語数をそのまま使うと、頻出単語に ...