AI時代の質問力 プロンプトリテラシー 「問い」と「指示」が生成AIの可能性を最大限に引き出す

017

1-1：社会現象となったChatGPT

1

2

3

4

5

6

1

以前のモデルは「日本」という間違った答えを返すことがあった。こ

れは、従来のモデルが「観光スポット」と「東京」が強く関連してい

ることや、「東京」が「都市」であるという文脈を正確に把握できな

かったためである。

この問題を解決する新たなディープラーニングモデルとして登場し

たのがトランスフォーマーだ。この革新的なモデルは2017年に Google

の研究チームによって発表された論文『AttentionisAllYouNeed

（注意こそがすべて）』で提唱された。

トランスフォーマーで提案された「注意（アテンション ,Attention）」

という仕組みは、文章の構造や文脈の理解を飛躍的に向上させた。

自己注意：文章中の単語間のつながりを捉える

アテンションの仕組みは大きく2つに分けられる。そのうちのひと

つである「自己注意（Self-attention）」は、文章内の各単語がお互い

にどのように関連しているかを捉え、その関係の強さを「重み」とし

て表現し、学習する。この重みは、単語間の関連性の強さを数値で示

したもので、文脈に応じて単語間の関係の重要性を判断する。

たとえば、「日本の首都は東京です。」という文章の場合、単語間の

重みは「日本」と「首都」の間、さらには「首都」と「東京」の間で

大きくなる。一方で、「首都」と「です」や「。」の間の重みは小さく

なる。これによって、文脈に基づいた単語間のつながりをより適切に

捉えることができる。

さらに、自己注意の仕組みを使うと、長い文章でも遠く離れた単語 ...