第17章. OllamaでLLMを扱う
この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている:translation-feedback@oreilly.com
トランスフォーマーを使ってモデルをダウンロードし、それを推論や微調整に使うための簡単なパイプラインを構築する方法について説明してきた。オープンソースのOllamaプロジェクトは、LLMの完全なラッパーを提供し、ターミナルでチャットしたり、HTTP POSTして出力を読み取るサーバとして使える環境を提供してくれる。
Ollamaのようなテクノロジーは、次世代のLLMの先駆けとなるだろう。LLMは、データセンター内の専用サーバやコンピュータ上の専用プロセスを持つことができる。そうなれば、LLMは完全にあなただけのものになる。
Ollamaはオープンソースプロジェクトであり、あなたのコンピューター上でLLMをダウンロードし、実行し、管理するプロセスを簡素化する。メモリ管理やモデルの最適化といった非機能要件も処理し、モデルへのHTTP POST機能など、インタラクションのための標準化されたインタフェースを提供する。
Ollamaは、GPT、Claude、Geminiのようなクラウドベースのサードパーティ・サービスと、ローカルにデプロイされたサービスとのギャップを埋めるという点でも、検討すべき重要な戦略ツールである。ローカル開発環境を提供するだけでなく、例えば、複数の内部ユーザにサービスを提供するために、自社のデータセンター内で使用することもできる。
ローカルでモデルを実行することで、データの完全なプライバシーを確保し、ネットワーク遅延をなくし、オフラインで作業することができる。これは、機密データや一貫性のある低遅延レスポンスを必要とするアプリケーションを含むシナリオでは特に重要である。
Ollamaはまた、Llama、Mistral、Gemmaを含む一般的なオープンソースモデルのライブラリーをサポートし、特定のタスクに最適化された様々な特殊化モデルもサポートしている。各モデルは、Dockerコンテナの仕組みに似た方法で、簡単なコマンドでプルして実行することができる。プラットフォームはモデルの量子化を自動的に処理し、優れたパフォーマンスを維持しながら、コンシューマ・ハードウェアで効率的に実行できるようにモデルを最適化する。
この章では、Ollamaを3つの方法で探索する:インストールと開始、特定のモデルをインスタンス化して使用する方法、そしてプライバシーを保持するLLMアプリケーションを構築できるRESTful APIを探索する。
Ollamaを使い始める
Ollamaプロジェクトはollama.comでホストされている。 ホーム画面にはmacOS、Linux、Windows用のダウンロードオプションがある。Windows版にはWindows Subsystem for Linux(WSL)が必要であることにも注意しよう。この章では、macOS版を使用する。
Webサイトに移動すると、ダウンロードを歓迎するフレンドリーなメッセージが表示される(図17-1参照)。
図17-1. Ollamaを使い始める
Ollamaのダウンロードとインストールが完了したら、Ollamaを起動すると、画面上部のシステム・バーにOllamaが表示される。Ollama ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access