Deep Learning 向けの PyTorch プログラミング

第4章. 転移学習とその他のトリック

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

前章でアーキテクチャを見てきて、すでに学習済みのモデルをダウンロードしてさらに学習させることはできないかと思うかもしれない。答えはイエスだ！あるタスク（例えばImageNet）のために訓練されたネットワークを、別のタスク（魚対猫）に適応させるのだ。

なぜこんなことをするのか？ImageNetで訓練されたアーキテクチャは、すでに画像について非常に多くのことを知っており、特に、何かが猫なのか魚なのか（犬なのかクジラなのか）についてはかなり詳しいことがわかった。基本的に空白のニューラルネットワークから始める必要がなくなるため、転移学習ではトレーニングに費やす時間が大幅に短縮され、トレーニングデータセットも大幅に少なくすることができる。従来のDeep Learningアプローチでは、良い結果を出すために膨大な量のデータが必要だった。転移学習を使えば、数百枚の画像で人間レベルの分類器を構築できる。

ResNetによる転移学習

今、やるべきことは、第3章でやったようにResNetモデルを作成して、それを既存のトレーニングループに組み込むことだ。それは可能だ！ResNetモデルには何も不思議なところはない。すでに見たのと同じ構成要素から作られている。しかし、これは大きなモデルであり、あなたのデータでベースラインのResNetよりも多少の改善は見られるだろうが、トレーニング信号がアーキテクチャのすべての部分に届き、新しい分類タスクに向けて大きくトレーニングされるようにするには、多くのデータが必要になる。このアプローチでは、多くのデータを使うことを避けようとしている。

しかし、ここで重要なのは、これまでのようにランダムなパラメータで初期化されたアーキテクチャを扱っているわけではないということだ。学習済みのResNetモデルには、画像認識や分類に必要な情報がすでにエンコーディングされている。その代わりに、ネットワークを微調整する。通常ImageNet分類を行う標準的な1,000カテゴリの線形レイヤーの代わりに、最後に新しいネットワークブロックを含むように、階層化アーキテクチャを少し変更する。そして、既存のResNetレイヤーをすべてフリーズさせ、学習時には、新しいレイヤーのパラメータのみを更新するが、フリーズさせたレイヤーのアクティブ度はそのまま利用する。これにより、事前学習済みのレイヤーが既に持っている情報を保持したまま、新しいレイヤーを素早く学習することができる。

まず、事前学習済みのResNet-50モデルを作成しよう：

from torchvision import models
transfer_model = models.ResNet50(pretrained=True)

次に、レイヤーをフリーズさせる必要がある。その方法は簡単で、requires_grad() を使って、アキュムレータが勾配を蓄積しないようにする。これはネットワークのすべてのパラメータに対して行う必要があるが、便利なことにPyTorchはparameters() メソッドを提供しており、これを使うとかなり簡単にできる：

for name, param in transfer_model.named_parameters():
    param.requires_grad = False

チップ

モデルのBatchNorm ...