直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

2章トークンと埋め込み

トークンと埋め込みは、大規模言語モデルを使ううえで重要な2つの概念です。「1章　入門 大規模言語モデル」で説明したように、これらは言語AIの進化を理解するために重要であるだけでなく、LLMがどのように機能し、どのように構築され、今後どの方向に発展していくかを知るためにも欠かせません。「Have the bards who preceded...（先達の吟遊詩人たちが…）」という入力をトークン化し、埋め込みに変換する様子を図2-1に示します。

図2-1　言語モデルは「トークン」と呼ばれる、小さなテキストの断片を扱う。言語モデルがテキストを処理するためには、トークンを数値的な表現である「埋め込み」に変換する必要がある

本章では、まずトークンとは何か、そしてLLMを支えるトークン化の方法について詳しく説明します。その後、現代のLLMに先立つ「Word2vec」という単語埋め込みの方法について学び、トークン埋め込みの概念を拡張して、推薦システムを構築する方法を見ていきます。最後に、トークン埋め込みから文や文章全体を1つのベクトルで表す文埋め込みやテキスト埋め込みについても学びます。これらは、セマンティック検索やトピックモデリングなど、「第Ⅱ部　事前学習済み言語モデルの活用」で取り上げるようなアプリケーションの構築に役立ちます。

2.1　LLMにおけるトークン化

本書執筆時点において、多くの人は、Web上のチャットインターフェイスを通じて言語モデルと対話しています。そのようなインターフェイスを通じて対話していると、モデルが一度にすべての応答を生成するのではなく、トークンを1つずつ順番に生成して応答していることに気がつくはずです。 ...