AI開発力を鍛える！機械学習と最適化による問題解決講座

2.

3.

0.

1.

055

2.1

結局、機械学習では何をやっているのか？

機械学習も一種の最適化？

先のImportant の「関数の入力パラメータと学習パラメータ」で唐突に「機械

学習の学習時は学習パラメータが最適化のパラメータになる」と出てきて、

これはどういう意味か？　となった読者もいるでしょう。ここまで、機械学

習は「データから法則を導くこと」「パラメトリック回帰はいわゆるフィッ

ティング」と説明してきましたが、具体的にどのように機械学習を行うかは

説明してきませんでした。それではまず、フィッティングをどのようにする

かを思い出してみましょう。フィッティングでは「最小二乗法」が用いられ

ます。最小二乗法では、数式の値（パラメトリック回帰の予測値）とデータ

の値との差の二乗の和が最小になるように、フィッティングパラメータ（学

習パラメータ）を調整します。

具体例として、図 2.1.8 のようにデータを 2次関数でフィッティングする場合

を考えてみましょう。この場合は、



のべき乗の項の係数

が

フィッティングパラメータとなります。そこで、



の値の組合せを様々に変

えて、最もデータによく当てはまる組合せを求めます。これがパラメトリッ

ク回帰の「学習」です。このとき、当てはまり具合を表す指標を損失関数と

いい、損失関数に予測値とデータ値との差の二乗の和を用いて最小化する場

合を最小二乗法と呼びます。なお、和では大きな値になってしまい、二乗の

平均値としても大小関係は変わらないため、二乗の和ではなく、平均二乗誤

差（Mean ...