PyTorchとfastaiではじめるディープラーニング ―エンジニアのためのAIアプリケーション開発

7章SOTAモデルの訓練

　本章では、SOTA†な結果が得られるような画像クラス分類モデルを訓練するための高度な手法を紹介する。他のアプリケーションのほうに興味があるなら、本章はスキップして後回しにして構わない。本章で学ぶ内容は、以降の章を読むための前提とはなっていない。

†　訳注：SOTA（State-of-the-Art）とは、その時点で最高の性能を示すことを指す。

　ここでは、正規化、ミックスアップと呼ばれる強力なデータ水増し、漸進的リサイズ、テスト時データ水増し、について説明する。これらを説明するために、Imagenette（https://github.com/fastai/imagenette）と呼ぶImageNetのサブセットを用いて、（転移学習を使わず）モデルをゼロから訓練する。このデータセットは元のImageNetデータセットから互いに類似していない10クラスを抽出したもので、実験のための高速な訓練に適している。

　このデータセットでの訓練は、これまでのデータセットでの訓練よりも格段に難しい。サイズも撮影角度もライティングも異なるフルサイズでフルカラーの物体写真を扱うからだ。ここでは、データセットから最大の効果を引き出すための重要なテクニックを紹介する。このテクニックは、1からモデルを訓練する場合や、訓練済みモデルが使ったデータセットとまったく異なるデータセットに転移学習する場合に特に有効だ。

7.1　Imagenette

　fast.aiがスタートした頃、コンピュータビジョンモデルの構築とテストに使われるデータセットは、主に次の3つだった。

ImageNet

130万枚の、サイズの異なる（おおよそ縦横500ピクセル程度）の1,000カテゴリのデータセット。訓練するのに数日かかる。 ...