マシンラーニング本番システム

第10章. ニューラル・アーキテクチャ検索

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

ニューラル・アーキテクチャ検索（NAS）は、ニューラルネットワークの設計を自動化するテクニックである。NASは数多くのアーキテクチャの並べ替えを実行することで、与えられた問題に対して最適なアーキテクチャを決定することができる。NASによって発見されたモデルは、多くの種類の問題に対して、手作業で設計されたアーキテクチャと同等か、それを上回ることが多い。NASは最近、研究と実用化の両面で非常に活発な分野となっている。

NASの目標は、最適なモデルアーキテクチャを発見することである。最新のニューラルネットワークは膨大なパラメータ空間をカバーしているため、自動機械学習（AutoML）のようなツールで検索を自動化することは非常に理にかなっているが、コンピューティングリソースへの要求が非常に高くなることを念頭に置いてほしい。

この章では、MLモデルを最適化するテクニックを、ハイパーパラメータのチューニング、NAS、AutoMLから紹介する。この章の最後では、AutoMLのクラウド・サービスを紹介する。

ハイパーパラメーターのチューニング

NASを深く掘り下げる前に、MLモデリングにおいて（素朴に行えば）最も退屈なプロセスの1つであるハイパーパラメータチューニングを分析することで、NASが解決する問題を理解しよう。おわかりのように、ハイパーパラメータチューニングとNASには類似点がある。ここでは、あなたがすでにハイパーパラメータチューニングに精通していることを前提に話を進める。むしろ、ハイパーパラメーター・チューニングとNASの類似点を理解する手助けをする。

MLモデルには2種類のパラメータがある：

パラメータ

これらは、訓練データセットを使って決定されなければならないモデルのパラメータである。これらはモデルの適合パラメータまたは学習済みパラメータであり、通常は重みとバイアスである。

ハイパーパラメーター

これらは調整可能なパラメータで、最適なパフォーマンスを持つモデルを作成するために調整する必要がある。調整可能なパラメータには、学習率やレイヤーのタイプなどがある。しかし、モデル・パラメータとは異なり、ハイパーパラメータは学習プロセス中に自動的に最適化されるわけではない。モデルの学習を開始する前にセットする必要があり、モデルの学習方法に影響を与える。

ハイパーパラメータのチューニングは、1つのハイパーパラメータセットを試し、モデルを訓練し、テストセットでモデル結果をチェックし、次に何をするかを決める反復プロセスである。ハイパーパラメータ設定を調整してモデルを再トレーニングし、結果が改善されるかどうかを確認することもできるし、プロセスを中止して、試したハイパーパラメータ設定のセットの1つで前進することを決定することもできる。手動ハイパーパラメータ・チューニングを使用する場合は、このすべてを手作業で行う。

ハイパーパラメータのチューニングも自動化することができ、いくつかのアプローチのうちの1つを使って、次に試すべきハイパーパラメータのセットと、停止するタイミングを決定する。本質的なプロセスは、モデルを繰り返し訓練し、結果をチェックすることに変わりはないが、プロセスが自動化されているため、開発者が使用する際の退屈さははるかに少ない。多くの場合、ハイパーパラメータをどのように調整するかの選択は最適化アプローチに基づいており、ランダムなアプローチよりも良い選択ができることが多い。 ...