仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

5







󰗔





󰗔





󰗕



󰗕

O U T

こんにちは！いかがお過ごしですか？何かお手伝いできることがあればお知らせくださいね。

紙面ではわかりませんが、会話モデルからの応答が逐次的に表示されます。このように、ス

トリーム呼び出しを使うことで、モデルの応答をリアルタイムに取得し、表示することができ

ます。ストリーム呼び出しは、チャットボットやリアルタイム応答が求められるアプリケー

ションで特に有用です。ユーザに対して、モデルが考えている途中経過を示すことで、よりイ

ンタラクティブなやり取りが可能になります。

リスト5.2.4



from langchain_openai import ChatOpenAI

llm = ChatOpenAI()

for chunk in llm.stream("こんにちは"):

print(chunk.content, end="", flush=True)

5.2.4

バッチ呼び出し

バッチ呼び出しでは、一度に複数の会話を処理します。会話モデルの

invoke

メソッドでは、

一つの会話のみを処理していました。しかし、一度に複数の会話を処理することができると便

利な場合があります。例えば、大量のデータをまとめてLLM で処理したい場合や、複数のリ

クエストを同時に処理する必要がある場合です。LangChainのバッチ呼び出し機能を使用する

と、これらの要件を効率的に満たすことができます。 ...