データサイエンス設計マニュアル

262 9 章 線形回帰とロジスティック回帰

できるようになるが、推定された方向が正しいかどうかは疑わしくなる。凸関数では、勾配降下法の学習率

とブロックサイズを最適化すると処理が非常に高速化され、詳細はライブラリ関数呼び出しによってうまく

隠すことができる。

探索

のすべてのステップでランダムに標本を選んでいたのではコストがかかる可能性がある。それより

も、訓練データをランダムに並べ替えて表示順で変なことが起こらないようにした上で、単純にリストから

をたどってブロックを組み立てていった方がよい。こうすれば、n 個のすべての訓練データを最終的に探

索に使うことができる。最適化の過程ですべてのインスタンスを何度か回して導関数を推定すればさらに

よい。

9.5 正則化によるモデルの単純化

線形回帰は、m − 1 個の独立変数とターゲット値によって定義された n 個の点の集合に対して考えられ

る最適な回帰式を判定してくれる。しかし、我々が求めているものは、この「最適な」回帰式ではない場合

がある。

問題は、m − 1 個の特徴の大半がターゲットとは無関係で、そのため本物の予測力がない場合があるとい

うことだ。一般に、特徴は小さな係数を伴う変数として示される。しかし、回帰アルゴリズムは、これらの

値を使って直線を細かく修正し、与えられた訓練標本の平方誤差を最小限まで減らす。ノイズ（無関係な変

数）を使ってノイズ（純粋に相関している変数による単純なモデルからの残差）にフィットさせると、間違

いなく問題が起こる。

このような問題の ...