仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



break

if longest_match:

token_ids.append(longest_match[0])

start_index = longest_match[1]

else:

start_index += 1

return token_ids

この関数では、次の処理を行います。

1. テキストの各文字に対して、現在のノードの子ノードに存在するかを確認します。

2. 子ノードに存在する場合は、現在のノードを子ノードに更新します。

3. 現在のノードがサブワードの末尾を表す場合（

is_end

が

True

）、そのサブワードに対応す

るトークンIDを

token_ids

に追加し、

start_index

を更新します。そして、現在のノード

をルートノードに戻します。

4. 子ノードに存在しない場合、現在のノードがルートノードでなければ、そのノードのトー

クンIDを

token_ids

に追加し、

start_index

を更新します。その後、現在のノードをルー

トノードに戻します。

5. テキストの最後まで処理した後、現在のノードがルートノードでない場合、そのノードの

トークンID を

token_ids

に追加します。

この処理により、テキストを最長一致のサブワードに分割し、対応するトークン IDのリス

トを取得することができます。

語彙表の事前学習

BPEの語彙表は、大規模なコーパスに対して事前学習によって作成されます。この学習は、

Transformerの学習とは独立して行われます。ここでは ...