ゼロからはじめるデータサイエンス 第2版 ―Pythonで学ぶ基本と実践

13.6

 さらなる探求のために

■

199

していない。オプションの

stemmer

関数を追加できるように分類器を変更し、単

語を同類の単語に変換するようにする。非常に単純な

stemmer

関数を例として示

す。

def drop_final_s(word):

return re.sub("s$", "", word)

良いステマーを作るのは、非常に困難なため、たいていはポーターのステマー

（

https://tartarus.org/martin/PorterStemmer/

）を 使 用 す る 。

●

使用した特徴はすべて「単語

w

i

を含むメッセージ」の形式であったが、こうしな

ければならない理由はない。

contains:number

形式の擬似単語を定義し、適切

な場合にはこれを返すように

tokenize

関数を変更することで、「数値を持つメッ

セージ」のような特徴も扱えるよう分類器を修正する。

13.6

 さらなる探求のために

●

Paul Graham

の 記 事「

A Plan for Spam

」（スパムへの対策、

http://www.paulgraham.

com/spam.html

）と「

Better Bayesian Filtering

」（ ベ イ ジ ア ン フ ィ ル タ の 改 善 、

http://

www.paulgraham.com/better.html

）

＊

1

は興味深いだけでなくスパムフィルタの背

後にあるアイディアについて多くの洞察を与えてくれます。

●

scikit-learn

には、この章で ...