scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

4章モデルの訓練

今までは、機械学習モデルやその訓練アルゴリズムをほとんどブラックボックスのように扱ってきた。今までの章の練習問題を実際に試してみたみなさんは、舞台裏で何が行われているのかをまったく知らなくても、いかに大きなものが手に入るかを知って驚かれただろう。何しろ、実際の仕組みをまったく知らないまま、回帰システムを最適化し、数字イメージの分類器を改良し、0からスパム分類器を作れたのである。実際、実装の詳細を知る必要がない場面は多い。

しかし、動作の仕組みをよく理解できていれば、タスクに合った適切なモデル、適切な訓練アルゴリズム、優れたハイパーパラメータセットに早くたどり着けるようになる。舞台裏で行われていることがわかっていれば、問題点のデバッグに役立ち、効率よく誤差を分析できる。そして、この章で取り上げるテーマの大半は、ニューラルネットワークの理解、構築、訓練（本書第II部で説明する）のために役立つ。

この章では、もっとも単純なモデルの1つである線形回帰モデルの詳細を見るところからスタートする。線形回帰モデルの2つの大きく異なる訓練方法を説明する。

• モデルを訓練セットにベストフィットさせるためのモデルパラメータ（つまり、訓練セットに対して損失関数が最小になるようなモデルパラメータ）を直接計算する「閉形式の方程式」を使う方法。
• 訓練セットに対して損失関数が最小になるように、モデルパラメータを少しずつ操作し、最終的に第1の方法と同じパラメータセットに収束する勾配降下法（GD：gradient descent）という反復的な最適化アプローチを使う方法。第II部でニューラルネットワークについて学ぶときに繰り返し使うバッチ勾配降下法、ミニバッチ勾配降下法、確率的勾配降下法を見ていく。 ...