AI開発力を鍛える！機械学習と最適化による問題解決講座

2.

3.

0.

1.

041

1.2

も有効な万能な方法はありません。またそれぞれの最適化手法においても設定す

べきパラメータ（いわゆるハイパーパラメータ）があり、問題に合わせた調整が

必要です。どのような問題のときに、どのような手法・ハイパーパラメータを使

えばよいかは、第3章の最適化で詳しく考えます。

本 項 の まとめ

　最適化を行うこと、および、最適化に最適化アルゴリズムを用いることには、

それぞれ次のような恩恵があります。

最適化の恩恵

•  最小・最大化：出力を最小（最大）にする条件を求められる

•  逆問題：最適化は関数の逆問題を解く方法の1つ

最適化アルゴリズムの恩恵

•  自動：定められたルールに従うことで、自動で最適化を実行できる

•  高効率：少ない試行回数で最適解を得ることができる

なぜ最小化なのか？

本書では最適化をすべて、「最小（最大）化」と書き、最大化を括弧括りで表

し、最小化の方が基本であることを暗に示しています。目的関数にマイナス

の符号を付ければ、最小化問題は最大化問題になりますので、最小化でも最

大化でも実用上はどちらでも違いはありません。しかし、世の中の最適化ラ

イブラリは、ほぼすべて、最小化で実装されており、また本書でも最小化を

基本としています。これには理由があるのでしょうか。

大きな理由の1つは、実際の場面で多く遭遇する最適化問題が誤差を小さく

する最小化問題だからでしょう。機械学習の学習自体も、教師データと予測

値との誤差を最小にする最小化問題です。また決められた設定値などがあり、 ...