LLMOps

第6章. APIファーストのLLMデプロイ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

LLMをデプロイするための適切なツールの選択は、プロジェクトの成否を左右する。

一方、マネージドサービスはセットアップと拡張が簡単だが、コストが高くなることが多い。オープンソースツールとデータ の人気リポジトリは、HuggingFaceである。HuggingFaceには、トークン化、ファインチューニング、データ処理のようなタスクを支援するために、事前に学習されたモデルとツールが多数含まれている。

選択するビジネスモデルは、収益、コスト、ユーザ体験に影響し、したがってデプロイの決定にも影響する。ユーザのニーズを理解し、コストを評価し、競合を考慮することで、ニーズを満たし、ユーザに価値を提供するビジネスモデルを選択することができる。選択肢には次のようなものがある：

サービスとしてのインフラ（IaaS）

この モデルは、独自のLLMアプリケーションを構築してデプロイしたいが、基盤となるインフラを管理したくない組織に適している。

IaaSを利用すれば、企業は多額の先行投資をすることなく、コンピューティングリソースを迅速かつ容易にプロビジョニングし、設定することができる。IaaSはインフラに対する柔軟性と制御性を許容するため、企業は特定のニーズに合わせて環境をカスタマイズし、最適化することができる。

IaaSは、独自のアプリケーションやインフラを管理する専門知識やリソースを持つ組織に適している。ただし、他のビジネスモデルに比べて、より高度な技術的専門知識と管理が必要となる。

サービスとしてのプラットフォーム（PaaS）

この モデルは、基盤となるインフラを気にすることなく、LLMアプリケーションを迅速かつ容易に構築・デプロイしたい組織に適している。

PaaSを利用することで、企業は多額の先行投資や技術的な専門知識を必要とすることなく、アプリケーションの構築とデプロイに集中することができる。PaaSは、簡素化され合理化された開発・デプロイプロセスを提供するため、企業はアプリケーションを迅速に構築・デプロイすることができる。

PaaSは、LLMアプリケーションの迅速な構築とデプロイを望む組織に適している。しかし、他のビジネスモデルと同レベルの柔軟性とコントロールは提供できないかもしれない。

サービスとしてのソフトウェア（SaaS）

SaaSの場合、企業はWebインタフェースやAPIを通じてLLMの機能にアクセスすることができ、多額の先行投資や技術的な専門知識を必要としない。このモデルは簡素化され合理化されたユーザ体験を提供するため、組織はLLMの機能に迅速かつ容易にアクセスすることができる。

SaaSは、大きな技術的専門知識や管理を必要とせずに、LLMの機能に迅速かつ容易にアクセスしたい組織に適している。しかし、他のビジネスモデルと同レベルの柔軟性やコントロールは提供できないかもしれない。

今日、ほとんどの企業は、LLM を IaaS として利用するか、API 経由の SaaS として利用するかのどちらかであり、この場合、統合は非常に簡単である。

この章では、デプロイの手順を1つずつ説明し、API、ナレッジグラフ、遅延、の最適化に関するヒントを提供する。

簡単な推奨事項

RAGアプリケーションのような複雑なワークフローを持つアプリケーションの構築には、ベクターデータベースのようなより多くのツールが必要かもしれない。Pineconeは、高速で遅延の少ないベクター検索と、プロダクションワークフロー向けのマネージドサービスを提供している。Weaviateもセマンティック検索の強力なツールであり、MilvusやQdrantはスケールの大きな高性能類似性検索に最適だ。アプリケーションは、より構造化されたデータ関係を必要とするかもしれない。Neo4jのようなグラフデータベースは、やり取りや依存関係をモデル化することができる。VirtuosoやBlazegraphのようなリソース説明フレームワーク（RDF）ストアは、高度なセマンティック推論にも役立つ。 ...