仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

python model_access3.py JPEGファイルのパス

例えば、複数の本の上にリンゴが置かれた写真のJPEG ファイルを指定した場合、次のよう

な出力が得られます。

O U T

この画像は、いくつかの本が積み重ねられている上に、赤いりんごが置かれている様子を撮影した

ものです。背景は灰色で少し模様が入っており、全体的に落ち着いた雰囲気を醸し出しています。

本は異なるサイズで、表紙の色も様々です。りんごは色鮮やかで、光沢があります。この構図は、

学問や知識への愛着を象徴しているかのようにも見え、教育的なコンテキストでよく用いられるイ

メージです。

5.2.3

ストリーム呼び出し

ストリーム呼び出しでは、モデルの応答を逐次的に取得することができます。ストリーム呼

び出しではなく会話モデルの

invoke

メソッドを使った場合、モデルの応答は一度に取得され

ます。このため、アプリケーションは、モデルの出力が全て得られるまで待たされることにな

ります。これはチャットボットなど応答性が求められるアプリケーションには適しません。そ

のような場合にストリーム呼び出しが役立ちます。

ストリーム呼び出しでは、

stream

メソッドを使ってモデルの応答を逐次的に取得すること

ができます。モデルへの入力は、

invoke

メソッドと同様に単一の文字列またはメッセージリ

ストを使います。出力はイテレータとして返されます。

LangChainの利点の一つは、API プロバイダごとの実装の違いを吸収し、統一的なインタ

フェースを提供している点です。ストリーム呼び出しについても ...