PyTorch によるコーダーのための AI および ML

第15章 トランスと変圧器 変圧器と変圧器

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

2017年、アシシュ・ヴァスワニらによる論文「Attention Is All You Need」（ ）で、AIの分野は一変した。論文の抽象化では、畳み込みと再帰のアーキテクチャの進化（本書の第4章から第9章を参照）という軽量で単純なものが示されているが、この研究のインパクトは、シャレを許してもらえるなら、変革的なものだった。NLPに始まり、AIに革命をもたらしたのである。著者はアプローチの単純さを主張しているが、コードでの実装は本質的に複雑であった。その核心は、MLアーキテクチャへの新しいアプローチだった：トランスフォーマーである（概念として参照していることを示すために大文字で表記している）。

この章では、エンコーディング、デコーディング、エンコーダーデコーディングという3つの主要なアーキテクチャを示しながら、Transformersの背後にあるアイデアを高いレベルで探求していく。これらのアーキテクチャがどのように機能するのかの概要を示す、非常に高いレベルでの探求に過ぎないことに注意してほしい。これらを深く掘り下げるには、1章だけでなく何冊かの本が必要になるだろう！

トランスフォーマーとは、Hugging FaceのAPIとライブラリのことで、トランスフォーマーベースのモデルを使いやすくするために設計されたものである。トランスフォーマーを使う前は、論文を読み、実装の詳細を自分で考えなければならなかった。だから、Hugging Faceのトランスフォーマー・ライブラリーは、トランスフォーマー・アーキテクチャを使って作成されたモデルへのアクセスを広げ、トランスフォーマー・ベース・アーキテクチャを使って作成された多くのモデルを使うためのデファクト・スタンダードとなっている。

注

混乱を避けるため、この章の残りの部分では、アーキテクチャ、モデル、概念をトランスフォーマー（大文字のT）、Hugging Faceライブラリをトランスフォーマー（小文字のt）と呼ぶことにする。

トランスフォーマーを理解する

この章の冒頭で述べたオリジナルの論文が発表されて以来、Transformersの分野は進化し成長してきたが、その根底にあるものはほとんど変わっていない。この章では、この点を探ってみよう。

HuggingFaceに限らず）どこかでLLMを扱うとき、エンコーディング、デコーディング、エンコーダーデコーダーという言葉を耳にするだろう。したがって、これらについて高レベルで理解しておくことは良い考えだと思う。これらのアーキテクチャはそれぞれ、処理、分類、生成など、テキスト管理に対する異なるアプローチを表している。これらは特定のシナリオに特化した強みを持っており、あなたのシナリオに最適化するためには、それらを理解し、適切なものを選択できるようにするのが良いだろう。

エンコーダーのアーキテクチャ

エンコーダのみのアーキテクチャ（例：BERT、RoBERTa）は、一般的にテキストを理解するのに優れている（）。これらのアーキテクチャは双方向の性質を持ち、入力シーケンス全体を一度に「見る」ことができる。このような理解の性質により、テキストとその意味論の深い理解と理解を必要とするタスクに特に効果的である。つまり、分類、名前付けされた固有名詞の認識、質問応答のような意味の抽出といったタスクに特に適しているのだ。エンコーダーの強みは、テキストを豊かな文脈表現に変換することだが、新しいテキストを ...