実践者向けの説明可能なAI

第5章. テキストデータの説明可能性

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

言語モデルは、現代のディープラーニングのユースケースにおいて中心的な役割を果たしており、自然言語処理（NLP）の分野は、特にここ数年で急速に進歩している。NLPは、、人間の言語がどのように機能するかを理解することに焦点を当てており、機械翻訳、情報検索、感情分析、テキスト要約、質問応答などのアプリケーションの中核をなしている。これらのアプリケーションのために構築されたモデルは、人間の言語がどのように機能するかを理解するためにテキストデータに依存しており、LSTM（長期短期記憶）、注意、変換ネットワークのような、今日一般的に使用されているDeep Learningアーキテクチャの多くは、テキストを扱うときに生じるニュアンスや困難を扱うために特別に開発された。

これらの進歩の中でおそらく最も重要なものは、論文 "Attention Is All You Need "で紹介されたトランスフォーマーアーキテクチャである。¹トランスフォーマーはアテンション・メカニズムに依存しており、逐次的なテキストデータを扱うのに特に適している。その理由のひとつは、計算効率が高いことと、テキストが逐次ではなく全体として処理されるため、文脈を維持しやすいことである。トランスフォーマーが登場した直後、 Bidirectional Encoder Representations from Transformersの略であるBERTが発表され、GLUE（一般言語理解評価）のすべてのベンチマークを打ち負かした。²(General Language Understanding Evaluation) benchmarks センチメント分類、テキストの含意、テキストの類似性、文法的正しさなど、NLU（自然言語理解）タスクのためのベンチマークである。BERT以来、他の記録破りの変換器ベースのモデルが登場し、OpenAIのGPT2やGPT3、GoogleのT5、DeepMindのGopher、そして最近では、数学的推論、コード記述、ジョークの説明まで可能な5,400億パラメータの高密度デコーダ変換器モデルであるPaLMなど、より優れた（そしてますます大規模な）言語モデルが登場している。³

このような目覚ましい発展とともに、これらのモデルがどのように機能するかをよりよく説明したいという欲求が高まっている。説明可能なNLPは、これらの大規模な言語モデルがどのように動作し、何を学習しているのかをよりよく理解することを目的とした、現在の研究コミュニティにおける強力な焦点となっている。もちろん、一般的なML実務者が日常的に使う標準的なテキストモデルと、T5、GPT3、PaLMのような最先端（SOTA）モデルとは、重要な違いがある。T5、GPT3、PaLMのようなモデルは、F1レーシングカーのAI等価性である、⁴そして実際、これらのモデルの多くは、典型的な練習生の域を出ていない。これらのモデルは何週間も訓練し、平均的な実務家や企業がアクセスできないコンピューティングリソースを必要とする。

しかし、それらの基礎となる技術は一般的になっており、Hugging Faceライブラリ（）で利用可能な使いやすい実装により、これらの高度なアーキテクチャの多くは、それほど手の届かないものではなくなっている。実際、BERT、XLNet、GPT2のようなモデル・アーキテクチャは、まだ発見されていないとしても、日常的なツールキットの中に入ってくる可能性が高い。画像モデルをトレーニングするときに見たように、大規模な言語モデルの事前学習済みバージョンを直接、あるいはよりタスクに特化したユースケースで微調整するために活用することには、非常に大きな価値がある。 ...