AutoMLを学ぶ (Japanese Edition)

第6章 ニューラル アーキテクチャ探索（NAS）

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

2017年、私はパラダイムシフトがリアルタイムで起こるのを目の当たりにした。Googleの研究者たちが、機械学習アルゴリズムによって完全に発見されたニューラルネットワークアーキテクチャ「NASNet」 を発表したばかりだった。この発表が画期的だったのは、自動システムが新しいアーキテクチャを発見したということだけではない。そのアーキテクチャが、ImageNet上で人間が設計したあらゆるネットワークの性能を上回ったという点にある。このベンチマークは、10年近くにわたりコンピュータビジョンの進歩を牽引してきたものだ。

その意味がすぐに理解できた。何年もの間、私はニューラルネットワークのアーキテクチャ設計に数え切れないほどの時間を費やし、層の深さを微調整し、フィルターのサイズを調整し、スキップ接続の実験を行ってきた。それは芸術であり科学でもあり、とにかく時間を要する作業だった。アルゴリズムがこのプロセスを自動化できるという発想――しかも人間の専門家よりも優れた結果を出せるという発想――は、まるでSFが現実になったかのようだった。

しかし、計算コストは桁外れだった。Googleのチームは、NASNet（Zoph et al., 2018,“Learning Transferable Architectures for Scalable Image Recognition”）を発見するために、500台のGPUを4日間稼働させた。これはおよそ22,400 GPU-日、つまり約537,600 GPU-時間に相当する。 2024年のクラウド価格（V100のようなハイエンドインスタンスでGPU-時間あたり1～3ドル）で計算すると、これは50万～160万ドルの計算コストに相当する。この数字こそが、なぜこのアプローチが多くの実務者や組織にとってアクセシブルではなかったのかを如実に物語っている。

注

読者は、クラウドの価格設定が変化するにつれてこれらの数値が変動することを期待すべきであり、コストはプロバイダーやインスタンスタイプによって大きく異なる。

2024年に目を向けると、状況は劇的に変化している。かつては膨大なコンピューティングリソースを必要とした処理が、今では単一のGPUでわずか数時間で完了できるようになった。ニューラルアーキテクチャサーチは、かつてはテック大手のみが利用可能な学術的な好奇の対象であったが、今ではあらゆるML実務者が活用できる実用的なツールへと進化した。 私自身もNASテクニックを用いて、本番システムにおいてモデル性能を15%～20%向上させつつ、推論時間を40%短縮するアーキテクチャを発見した。

計算上不可能だったものが実用的に利用可能になったこの進化は、自動機械学習における最も重要な進歩の一つだ。この章では、NASの仕組み、効率性が飛躍的に向上した理由、そしてこれらのテクニックをプロジェクトにどう適用できるかを探っていく。NASを可能にする3つの核心的な構成要素、すなわち探索空間、探索戦略、性能推定について掘り下げる。最も重要なのは、スーパーコンピュータを必要とせずに結果を出せる最新の手法に焦点を当てることだ。

注

本章のすべてのコード例はテストおよび妥当性確認済みである。完全な実装、詳細な出力、実験のバリエーション、および追加の高度なテクニックについては、 ...