
6.3
ナイーブベイズ分類器の紹介
119
表6-3
上の例では上手く分類できているようです。ただし、最後のツイート(結果が0で割られる)だけは
結果を出力できていません。これについてはどのように対応すべきでしょうか?
6.3.4
新出単語への対応
私たちは前述の通り確率を計算しましたが、実際は本当の確率を計算していません。私たちが計算
した確率は近似値であり、全体の一部からなるサンプルデータから求められたに過ぎません。私たち
は、訓練データ中に含まれるコーパスが、実際の確率についての全ての情報を物語っているという仮
定を暗に設定しました。しかし、その仮定は正しくありません。6つのツイートからなるコーパスだけ
では、まだ見ることのない他のツイートも含めた全ての情報を持っているとは到底考えられません。た
とえば、「text」という単語を含んだツイートは存在しますが、訓練データではその単語を含むツイート
はありませんでした。明らかに、私たちの仮定はとても大ざっぱな
ものであり、そのことを考慮すべき
なのです。このような問題に対して、実際に行われる対策が「1を足すスムージング」です。
「
1
を足すスムージング」は加算スムージング(
additive smoothing
)またはラプラス・スムー
ジング(
Laplace Smoothing
)と呼ばれます。ラプラス・スムージングはラプラシアン・ス
ムージング(
Laplacian smoothing
)とは関係ないことを注意しておきます(ラプラシアン・
スムージングはポリゴンメッ