AutoMLを学ぶ (Japanese Edition)

第5章 ハイパーパラメータの 最適化

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

本番環境でチューニングが不十分な機械学習モデルに初めて遭遇した時のことを覚えている。2018年のことだ。当時、私はある銀行に勤務しており、その銀行では不正検知システムが導入されていた。そのモデルは、適切な特徴量をすべて備えた勾配ブースティング分類器であり、概念的には妥当なものだったが、その性能はせいぜい平凡なものだった。 誤検知率があまりにも高かったため、正当なトランザクションが絶えずフラグ付けされ、顧客を苛立たせ、会社にコストを発生させていた。問題はアルゴリズムやデータではなかった。ハイパーパラメータにあったのだ。

わずか2日間、ドメインの直感と交差検証を伴うランダム探索を組み合わせてハイパーパラメータを体系的に調整し、学習率を0.05に設定し、推定量数を300に増やし、最大深さを4に設定したところ、リコール率を維持したままモデルの精度を15%向上させることができた。 ビジネスへの影響は即座に現れた。誤検知が30%減少し、顧客からの苦情も減り、不正検知システムはついにその期待に応えるものとなった。

この経験は、私がキャリアを通じて学んできたことを明確に示した。ハイパーパラメータの最適化は単なる技術的な細工ではなく、多くの場合、モデルが機能するか否かの分かれ目となるのだ。私は、適切に調整された「単純な」モデルが、調整の不十分な複雑なモデルを常に上回るのを目にしてきた。

Melisらによる2018年の画期的な研究「On the State of the Art of Evaluation in Neural Language Models」は、この原則を説得力を持って実証した。彼らの慎重に調整されたLSTM言語モデルは、研究コミュニティで大きな注目を集めていたいくつかの新規提案アーキテクチャを上回った。その理由は、単にそれらの新しいモデルが十分に調整されていなかったからに他ならない。 この論文は、ハイパーパラメータの最適化への取り組みを調整すると、「最先端」のアーキテクチャ間の差がしばしば消滅することを示した。これは、適切なチューニングの決定的な重要性を浮き彫りにする、考えさせられる発見である。

しかし、ハイパーパラメータの最適化は依然として機械学習（ML）において最も困難な側面の一つである。探索空間は広大で、評価にはコストがかかり、最適な設定は直感に反することが多い。これは数十年にわたり実務者を悩ませてきた問題であり、効果的なMLシステムを展開する上での大きなボトルネックであり続けている。

本章では、基本的な探索戦略から、最小限の計算コストで優れた設定を見つけ出す洗練度の高いメソッドに至るまで、ハイパーパラメータ最適化技術の進化を探っていく。すぐに実装できる実用的なアプローチを検討し、モデルチューニングに対する考え方を変えつつある最先端の技術を探求する。最も重要なのは、時間とコンピューティングリソースが限られている実世界において機能する手法に焦点を当てることだ。

ハイパーパラメータ最適化の課題

ハイパーパラメータの 最適化は、本質的にブラックボックス最適化問題である 。モデルがトレーニング中に学習するパラメータ（ニューラルネットワークの重みなど）とは異なり、ハイパーパラメータはトレーニング開始前に選択しなければならない設定項目だ。これには学習率、正則化の強さ、ネットワークアーキテクチャ、ツリーの深さ、バッチサイズ、その他モデルの性能に大きな影響を与える数多くの選択肢が含まれる。 ...