LLMOps

序文

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

、"LLM/AIエンジニアとLLMOpsエンジニアの違いは何ですか？"と聞かれた回数は数え切れない。会議中であろうと、カンファレンス中であろうと、あるいはその分野の人とコーヒーを飲んでいるときであろうと、この質問は何度も出てくる。

私は以前は、それぞれの役割の技術的な違いから説明するようにしていた。大規模言語モデル（LLM）を長期間にわたって稼働させ続けるために必要なことを、人々は十分に理解していないのだ。

この原稿を書いている2025年初頭、トップモデルやテクニック、ベストプラクティスは数日ごとに変化している。したがって、その複雑さを理解している人はほとんどいない。しかし、LLMのコンテキストでは、Opsとは、これらのモデルを本番環境で安全、堅牢、信頼できるものにするために、人、プロセス、テクノロジーを合理化することなのだ。

企業やそのリソース部門は、それがチームやプロジェクトにとって何を意味するのかを理解しようと躍起になっている。本書は、ロールの定義やLLMの構築とデプロイの方法についてのチュートリアルではない。その両方について触れてはいるが、それだけではもう十分ではない。LLMベースのアプリケーションが本番稼動したら、誰かがそれらを最適化し続けなければならない。そうしないと、単純な問題に対する過剰な解決策になったり、もっと悪いことに、メンテナンスの悪いカードハウスになり、高い需要やプロンプトインジェクション攻撃で崩れてしまう危険性がある。

伝統的なソフトウェア開発（あるいはソフトウェア2.0）では、リード開発者に製品全体の構築と保守を依頼することはないだろう。ソフトウェア開発エンジニアが構築し、信頼性エンジニアが保守する。LLMの構築と保守には、同様の職務分掌が必要である。ソフトウェア3.0では、LLM/AIエンジニアが構築し、LLMOpsエンジニアが保守する！

機械学習オペレーション（MLOps） はLLMOpsの基盤であるが、エンジニアが構造化データや識別モデルの作業から得たMLOpsスキルは、生成モデルには完全には反映されない。

つまり、データエンジニアリングからモデルのデプロイ、アプリケーションの設計、モニタリング、セキュリティ、リソースの最適化まで、LLMベースのアプリケーションライフサイクルのユニークな側面を理解してもらうためにこの本を書いている。LLMデータ、モデル、アプリケーションを構築、保守、最適化する際の意思決定のための強力な基盤を提供したい。

本書で使用する表記規則

本書では、以下の表記規則を使用している：

イタリック

新しい用語、URL、メールアドレス、ファイル名、ファイル拡張子を示す。

Constant width

変数名や機能名、データベース、データ型、環境変数、文、キーワードなどのプログラム要素を指すために、段落内だけでなく、プログラムリストにも使用される。

オライリー・オンライン・ラーニング

オライリー・メディアは40年以上にわたり、テクノロジーとビジネスに関するトレーニング、知識、洞察をプロバイダーとして提供し、企業の成功を支援してきた。

オライリー独自のエキスパートとイノベーターのネットワークは、書籍、記事、オンライン学習プラットフォームを通じて、彼らの知識と専門知識を共有している。O'Reillyのオンライン学習プラットフォームでは、ライブトレーニングコース、詳細な学習パス、やり取りができるコーディング環境、O'Reillyとその他200以上の出版社からのテキストやビデオの膨大なコレクションにオンデマンドでアクセスできる。詳細については、 ...