データサイエンス設計マニュアル

9.2 より良い回帰モデル 251

図 9 -5 高次モデル（赤）は、線形モデル（緑）よりもうまくフィットする場合がある

に

注意しよう。データ行列に適切な高次変数を追加し、それらの線形結合を作れば、任意の複雑な関数に

フィットさせることができる。データ行列に

√

x, log(x

), x

3

, 1/x といった変数を明示的に組み込めば、任

意の多項式、指数/対数式にフィットさせられる。

2 つの入力変数の間の非線形交互作用を捕捉するために新たな特徴を導入することもできる。例えば、長

方形 A の面積は、縦 ×横 によって求められるが、これは A が縦と横の線形結合では正確に近似できないと

いうことである

*

1。しかし、データ行列に面積という特徴を追加すれば、この非線形交互作用は線形モデル

で捕捉できる。

しかし、取り得る非線形項をすべて明示的に組み込んでいくと、あっという間に手に負えなくなってしま

う。1 ≦ i ≦ k のすべての累乗 x

i

を組み込めば、データ行列は k 倍に膨れ上がる。n 個の変数の中の 2 つ

の積をすべて組み込めば、行列は n(n + 1)/2 倍も大きくなってしまう。どの非線形項にモデル内で役割を

与えるかについてはよく検討する必要がある。実際、サポートベクターマシン（SVM）など、より高度な学

習メソッドの利点の 1 つは、明示的に数え上げなくても非線形項を組み込めることだ。

9.2.3 特徴とターゲットのスケーリング

原則として、線形回帰は任意のデータセットに最もよく合う線形モデルを見つけられる。しかし、我々は ...