データサイエンス設計マニュアル

246 9 章 線形回帰とロジスティック回帰

図 9 -1 線形回帰は、点の集合に最もフィットする直線を探し出す

り、

y

′

= f(x

′

)）。

9.1.1 線形回帰と双対性

回帰と連立方程式の解の求め方には、面白い関連がある。連立方程式を解くときには、与えられた n 本の

すべての線に含まれる 1 個の点を探す。回帰では、逆に与えられた n 個の点をすべて含む 1 本の線を探す。

両者には 2 つの違いがある。(a) 線と点が入れ替わっていることと、(b) 完全に制約された問題を解くのか制

約のもとで最もフィットするものを見つけるのかということである（「だけ」か「すべて」か）。

線と点の違いはささいなことだ。何しろこれらは本当はどちらも同じなのである。2 次元空間では、点

(s, t) と線 y = mx + b は、ともに 2 つのパラメータで定義される。それぞれ {s, t} と {m, b} だ。さらに、

適切な双対変換を加えれば、線は他の空間では点と同値になる。具体的に言えば、次の変換について考えて

みればよい。

(s, t) ←→ y = sx − t

1 本の直線に含まれる点の集合が 1 個の点で交差する一連の直線にマッピングされるようになる。つま

り、すべての点の集合にヒットする直線を見つけることは、アルゴリズム的にはすべての直線の集合にヒッ

トする点を見つけるのと同じことになる。

図 9 -2 は、具体例を示している。図 9 -2（左）の 2 本の直線が交差する点は p = (4, 8) であり、これは右 ...