実践 LLMアプリケーション開発 ―プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き

9章推論の最適化

　これまでの数章では、特定のタスクを解くためにLLMを適応・活用するさまざまな手法について学んできました。本章では、LLMを実際に活用する際に欠かせない効率的な推論（Inference）方法に焦点を当てていきます※1。LLMは非常に大規模であるため、計算量、メモリ容量、消費電力などにより、デプロイと推論処理が難しいという課題があります。これは特に、スマートフォンのようなエッジデバイス上では顕著です。

※1　訳注：「推論」とは、一般的に学習して重みが固定されたモデルを利用して出力を得るための計算処理を指します。

　この章では、推論の最適化に注目し、まずLLMの推論時間に影響する要因を取り上げます。その後、キャッシュ、知識蒸留、早期終了、量子化、並列デコーディング、投機的デコーディングなど、さまざまな最適化手法について解説していきます。

9.1　LLMによる推論の課題

　LLMの推論に影響を与えるボトルネックには、どのようなものがあるでしょうか？　ご存じの通り、LLMはモデルのサイズが非常に大きいため、多くの計算資源とメモリ容量を必要とします。それらに加えて、以下のような課題もあります。

• 4章で紹介したように、現在主流のLLMは、自己回帰型のデコーダのみのアーキテクチャに基づいています。これは、出力トークンが1つずつ逐次的に生成される構造であるため、並列化が難しく、推論速度に制約がかかります。本章の後半では、この制約を打破するための並列デコーディングや投機的デコーディングの手法について解説します。
• 入力系列の長さに対して、計算量が二次関数的に増加するため、長い系列を扱いづらいことです。これに対処する方法として、本章の後半で紹介するKVキャッシュなどの手法が有効です。 ...