
137
10
章
線形最小二乗法
†
10.1
最小二乗適合
相関係数は、関係の強度と符号を示しますが、傾きは示しません。傾きを推定する
には多数の方法がありますが、一般的には線形最小二乗適合法(
linear least squares
fit
)を使用します。「線形適合」は、変数間の関係をモデル化する直線です。「最小二
乗」適合は、直線とデータとの間の平均二乗誤差(
MSE
)を最小化します。
平面上の点のシーケンス
ys
があって、他の点のシーケンス
xs
の関数として表現し
たいとしましょう。
xs
と
ys
との間に線形関係があり、切片が
inter
、傾きが
slope
なら、
y[i]
が
inter+slope*x[i]
になるはずです。
しかし、相関が完全でない限りは、この予測は近似でしかありません。直線との鉛
直方向の偏差、すなわち残差は次のようになります。
res = ys - (inter + slope * xs)
残差は、測定誤差のような偶然の要因によるものか、未知の偶然によらない要因に
よるものかのどちらかです。例えば、体重を身長の関数として予測しようとするなら、
未知の要因には、ダイエット、運動、体型などが含まれます。
パラメータの
inter
や
slope
を間違えると残差は大きくなるので、直感的には、望
ましいパラメータとは、残差を最小にするものです。
最小化するのは、残差の絶対値、または二乗和、または三乗和などがありえますが、
普通選択するのは、残差二乗和、
sum(res**2)
です。
†
本章のコードは、
linear.py ...