Kubernetes上での生成AI (Japanese Edition)

第2章 モデルデータ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

Kubernetes上でLLMsを実行する際の最も根本的な課題の一つは、モデルデータの膨大なサイズを管理することだ。LLMsのサイズは数ギガバイトからほぼ1テラバイトに及ぶこともあり、このデータをランタイムがアクセス可能なKubernetesクラスタに効率的に取り込むには慎重な検討が必要となる。

これらのモデルの大部分はモデルパラメータで構成されており、非常に巨大な規模になることがある。 表2-1には、実際に実行可能な主要なモデルのパラメータ数とサイズをリストした。 他にも多数存在するが、この選択だけでも幅広いバリエーションが確認できる。 オンデマンド利用には非現実的な大規模モデルから、自身のクラスターで実行可能で必要時に容易にダウンロードできる軽量モデルまで様々だ。

表 2-1. オープンソースモデルとその サイズ

名前	ベンダ	パラメータ	サイズ
Llama 4 Maverick	Meta	4000億（MoE、170億がアクティブ）	約800GB
DeepSeek-V3	DeepSeek	6710億（MoE、370億アクティブ）	約700GB
Llama 3.1405B	Meta	4050億	約750ギガバイト
Qwen3-235B	アリババ	2350億（MoE、220億アクティブ）	約118ギガバイト
ミストラル 8x220億	ミストラル	1410億（MoE、390億アクティブ）	約88GB
GPT-OSS 120B	OpenAI	1170億（MoE、50億アクティブ）	約70GB
Gemma 2 270億	Google	270億	約54ギガバイト
グラニット 130億	IBM	130億	約26ギガバイト
ファルコン 211B	TII	110億	約22ギガバイト
ミストラル 7B	ミストラル	70億	約14GB

さらに小規模なモデルであっても、クラスター内で効率的に管理する際にはKubernetes管理者にとって重大な課題となる。 これらの大規模データセットを効果的に保存・整理する方法を理解することは、LLM運用を成功させる上で極めて重要だ。

本章では、Kubernetesクラスタ内でデータ集約型成果物を効率的に管理する方法を探る。 多くの場合、機械学習モデルは第1章で説明した推論サービスからアクセスされる不透明な箱として扱える。 しかし、これらのモデルを配布するパッケージ形式を理解することは、統合を成功させる上で依然として価値がある。 次のセクションでは、最も重要なLLMストレージ形式の概要を説明する。

LLMs運用におけるもう一つの重要な側面は、モデルデータの所在を発見し検索する方法である。 「モデルレジストリ」で論じるモデルレジストリの概念は、モデル発見とアクセスに対する実用的な解決策を提供する。

最後に、モデルはクラスターにダウンロードされて初めて使用可能になる。 「Kubernetes におけるモデルデータへのアクセス」では、モデルデータを効率的に取得・アクセスするための Kubernetes ネイティブメソッドを概説する。

このロードマップを念頭に、まずLLMデータがどのようにパッケージ化され保存されるかを検証しよう。

モデルデータ保存形式

のLLMを扱う際にまず気付くのは、その膨大なサイズだ。パラメータ数は数十億単位で測定される。 ...