直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

1章入門 大規模言語モデル

人類は今、重要な転換期を迎えています。2012年以降、AIシステム、とくにディープニューラルネットワークを使った技術の開発が急速に進みました。そして、2010年代の終わりには、時には人間が書いた文章と見分けがつかないレベルの文章を生成できるソフトウェアが初めて誕生しました。このソフトウェアはGPT-2（Generative Pre-trained Transformer 2）と呼ばれる言語モデルです。

2022年にはChatGPTが登場し、私たちのテクノロジーや情報との関わり方を大きく変えました。ChatGPTは、たった5日で100万人、2か月で1億人のアクティブユーザーを獲得するという驚異的な成功を収めました†1。ChatGPTは人間のように会話できるチャットボットとして始まりましたが、翻訳、文章の生成、要約など、日常的なタスクに革命をもたらしました。そして、プログラマー、教師、研究者といった人たちにとって、非常に役立つツールとなりました。

[†1] 訳注：2024年8月29日、ChatGPTの開発元であるOpenAIは、週間アクティブユーザー数が2億人に達したことを明らかにした。同社は2023年11月に週間アクティブユーザー数が1億人に達したことを報告しており、わずか1年足らずで倍増したことになる。

ChatGPTの成功により、その背後にある大規模言語モデル（large language model：LLM）に関する研究がさらに加速しました。企業やコミュニティにより、さまざまなモデルが公開され、当初のChatGPTに匹敵する性能を持つものが次々と登場しました。今や、LLMがAIの中心的な話題となっています。

その結果、2023年は、言語AIの分野が劇的に変化した年として記憶されるでしょう。言語AIは、人間の言葉を理解し、生成できるシステムを開発する分野です。 ...