ゼロからはじめるデータサイエンス 第2版 ―Pythonで学ぶ基本と実践

206

■

14

章 単純な線形回帰

#

ほぼ同じ結果が得られるべき

alpha, beta = guess

assert 22.9 < alpha < 23.0

assert 0.9 < beta < 0.905

この結果、正確な式とほぼ同じ値の「アルファ」と「ベータ」が得られます。

14.3

 最尤推定

最小二乗法を使う理由の

1

つが最尤推定です。未知のパラメータ

θ

に依存した分散

を持つサンプルデータ

v

1

, ..., v

n

があるとしましょう。

p v

1

, ..., v

n

θ

θ

がわからないのであれば、別のアプローチとしてサンプルデータからの尤度として

θ

の大きさを考えることができます。

L θ v

1

, ..., v

n

この手法において最も適切な

θ

は、尤度関数を最大化するものです。言い換えると、

観測したデータが最も起こりそうな値となります。連続分布の場合、つまり確率質量

関数ではなく確率密度関数が与えられた場合にも同じことが可能です。

回帰の話に戻りましょう。単純な回帰モデルでよく使われる前提では、回帰誤差は

平均

0

および（既知の）標準偏差

σ

を持つ正規分布になります。もしそうだとしたなら、

値のペア

(x_i,

y_i)

に対する尤度は次の式となります。

L

α, β x

i

,y

i

,σ =

1

2πσ

exp − y

i

− α − βx

i

2

/2σ

2

データセット全体の尤度は、個々の尤度の積であり

α

と

β

が誤差の二乗和を最小化

するように選択されていた場合に最も正確となります。つまり、（この前提から）誤差

の二乗和を最小化することと、観測されたデ ...