
138
10 章 線形最小二乗法
どうしてでしょうか。次のような重要な理由が
3
つと、それほど重要でない理由が
1
つあります。
•
二乗は正の残差と負の残差を同様に扱う。これが通常望まれることである。
•
二乗は大きな残差により重みを置くが、最大値が常に支配的になるほどには
しない。
•
残差に相関がなく、平均
0
、分散が(未知の)定数の正規分布の場合、最小
二乗適合は、
inter
と
slope
との最尤法となる。
Wikipedia
の「線形回帰」
https://en.wikipedia.org/wiki/Linear_regression
の中の
Maximum likeli
hood estimation
についての説明参照
†
。
•
二乗残差を最小化する
inter
と
slope
との値は、効率的に計算できる。
最後の理由が成り立ったのは、手元の問題に対して最適な手法を選ぶより、計算効
率のほうが重要な計算機の能力が低かった時代の話です。今はそんな時代ではないの
で、二乗残差の最小化が求めていることかどうかを検討するほうが価値があります。
例えば、
ys
の値予測に
xs
を使うとして、予測値が実際より高すぎる方が、低すぎ
るよりも好ましい(あるいは、好ましくない)ことがあります。そのような場合、そ
れぞれの残差についてコスト関数を計算して、全体コスト
sum(cost(res))
を最小化
する方が良いかもしれません。ただ、最小二乗適合を計算するほうが、速くて、簡単
で、十分な場合が多いのです。
10.2
実装
thinkstats2
では、線形最小二乗を行う簡単な関数を用意しています。 ...