AIエンジニアリング ―基盤モデルを用いたAIアプリケーション開発の基礎と実践

9章推論の最適化

新しいモデルは次々と現れては消えていきますが、常に変わらず重要なことがあります。それは、モデルをより良く、より安く、より速くすることです。本書ではこれまで、モデルを改善するためのさまざまなテクニックを解説してきました。この章では、モデルをより速く、より安くすることに焦点を当てます。

モデルがどれほど優れていても、処理が遅すぎればユーザーは待ちきれなくなってしまうかもしれません。モデルの予測そのものが役に立たなくなる可能性もあります。例えば、翌日の株価を予測するモデルの計算に2日もかかってしまう状況を想像してみてください。また、モデルのコストが高すぎれば、投資対効果が見合わなくなります。

推論の最適化は、モデル、ハードウェア、サービスの各レベルで実施できます。モデルレベルでは、学習済みモデルのサイズを削減したり、Transformerモデルでよく使われるアテンション機構の計算ボトルネックを解消するなど、より効率的なアーキテクチャを開発できます。ハードウェアレベルでは、より強力なハードウェアを設計することで最適化を実現できます。

推論サービスは、特定のハードウェア上でモデルを実行し、ユーザーのリクエストを処理します。このサービスには、特定のハードウェア向けにモデルを最適化するテクニックを組み込むことができます。また、レイテンシーとコストを削減するには、使用状況やトラフィックパターンを考慮してリソースを効率的に割り当てる必要があります。

このような背景から、推論の最適化は、モデル研究者、アプリケーション開発者、システムエンジニア、コンパイラ設計者、ハードウェアアーキテクト、さらにはデータセンターの運用担当者に至るまで、さまざまな分野の専門家による連携が不可欠な学際的分野となっています。 ...