仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

7

するプロンプトテンプレートを作成します。

{image_data}

は、画像データを表すプレースホ

ルダです。

次に、プロンプトテンプレートとLLM を結合し、チェーンを作成します。ここでは、LLM

としてマルチモーダルに対応した

gpt-4o-mini

を指定しています。このチェーンは画像データ

を入力として受け取り、画像の説明を生成します。

次に、RAGに対応したチェーンの作成部分を確認しましょう。

prompt = ChatPromptTemplate.from_messages(

[

(

"system",

"回答には以下の情報も参考にしてください。参考情報：\n{info}",

),

("placeholder", "{history}"),

("placeholder", "{message}"),

]

)

return (

{

"message": create_message,

"info": itemgetter("input") | retriever | format_docs,

"history": itemgetter("history"),

}

| prompt

| ChatOpenAI(model="gpt-4o-mini", temperature=0)

)

ここでは、プロンプトテンプレートに

{message}

プレースホルダを追加しています。そし

て、この

message

の値を

create_message

関数で生成するようにしています。

create_message ...