Transformer実践ガイド ―画像・音声・時系列からエージェントまで

3章ビジョンタスクのためのTransformer

コンピュータビジョンにおけるTransformerの重要な利点の1つは、大規模データを用いた事前学習を通じて得られる高い転移性能です。特に、画像と言語を対応付けて学習したモデルや、セグメンテーション向けに大規模データで学習された基盤モデルでは、少数ショット学習やゼロショット学習に近い使い方が可能になります。

画像へのラベル付けはコストが高く、がん検出のように十分なラベルを確保しにくい分野も少なくありません。そのため、少数のサンプルでも高い性能を発揮できる画像分類モデルやセグメンテーションモデルは、大きな価値を持ちます。従来のCNNベースのモデルも医療画像などで広く使われてきましたが、大規模データを用いて事前学習したTransformerモデルは、データ不足が深刻なタスクにおいて有力な選択肢になります。

Transformerは、自然言語処理で大きな成功を収めた後、コンピュータビジョンにも広く応用されるようになりました。その代表例がVision Transformer（ViT）†1です。ViTは、画像をパッチに分割し、パッチをトークンとして扱うことで、Transformerを画像分類に適用できることを示しました。これにより、Transformerがコンピュータビジョンでも有効であることが明らかになりました。

[†1] Alexey Dosovitskiy et al. "An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale"（https://arxiv.org/abs/2010.11929） (2020).

本章では、まず画像分類、セマンティックセグメンテーション、インスタンスセグメンテーション、パノプティックセグメンテーションの違いを整理します。その後、Swin ...