データサイエンス設計マニュアル

256 9 章 線形回帰とロジスティック回帰

9.4 パラメータフィッティング問題としての回帰

線形

回帰の式、w = (A

T

A)

−1

A

T

b は簡潔でエレガントだ。しかし、ちょっとした問題があって、実際に

コンピュータで扱うには向いていない。大規模なシステムでは逆行列の計算は非常に遅く、数値的安定性が

得られない。さらに、ここで使っている線形代数の手法は、より一般的な最適化問題に拡張しにくい。

しかし、線形回帰問題には、実用的により優れていることが実証された別の考え方と別の解法がある。こ

のアプローチの方が高速なアルゴリズムを作ることができ、数値的安定性が得られ、他の学習アルゴリズム

にもすぐに適用できる。それは線形回帰をパラメータフィッティング問題としてモデリングし、探索アルゴ

リズムを使ってパラメータの最良の値を見つける方法である。

線形回帰では、あらゆる係数の組合せから点の集合に最もフィットする直線を探す。正確に言えば、すべ

ての訓練点の二乗誤差の総和を最小化する直線 y = f(x)、すなわち次の式を最小化する係数ベクトル w を

探す。

n

X

i=1

(y

i

− f(x

i

))

2

, ただし f(x) = w

0

+

m

−

1

X

i=1

w

i

x

i

具体的な例で考えてみよう。まず、y を単一の変数/特徴 x の線形関数としてモデリングする場合、つま

り y = f(x) が y = w

0

+ w

1

x という意味になる場合を考えよう。回帰式を定義するために、誤差あるいは

コストあるいは損失、すなわち点の値と直線の距離の 2