オープンソース LLM のローカルデプロイ：Ollama 実践
大規模モデルを自分のマシンで動かせば、データプライバシーを守り、オフラインでの開発・実験も容易になります。Ollama はこれをアプリのインストール並みに簡単にします。
著者：AI Resource Hub
なぜローカルデプロイを選ぶか
ローカルデプロイはデータがマシンから出ないため、機密情報の処理に最適です。API 費用もなく、繰り返し実験したりローカルワークフローに組み込んだりしやすいです。
インストールして最初のモデルを実行
公式サイトから Ollama をインストール後、1コマンドでモデルを取得・実行できます。初回実行時は自動的に重みをダウンロードします。
# Pull and chat directly
ollama run llama3.2
# Or just download the model
ollama pull qwen2.5API 経由でアクセス
Ollama を起動するとローカルポート 11434 で HTTP インターフェースが提供され、クラウド API のようにアプリへ組み込めます。
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [{ "role": "user", "content": "Hi, please introduce yourself" }],
"stream": false
}'適切なモデルの選び方
モデルが大きいほど一般に性能は良いですが、VRAM とメモリも多く必要です。まずマシンに合ったパラメータ規模（7B/8B など）を選び、速度と品質のバランスを取ります。
Ollama のモデルライブラリには Llama、Qwen、Mistral、Gemma など多くのオープンソースモデルがあり、必要に応じて切り替えられます。
パフォーマンスチューニングと GPU のコツ
Ollama は GPU があれば自動的にアクセラレーションを使用します。Apple Silicon Mac では Metal がすぐに使えます。Linux + NVIDIA では CUDA ドライバーと Ollama CUDA ビルドのインストールを確認してください。VRAM が不足したら、小さい量子化（Q8_0 の代わりに Q4_K_M など）や小さいモデルファミリを試してください。OLLAMA_NUM_PARALLEL を設定すると、十分なメモリのあるマシンで並列リクエストを処理できます。
アプリケーションへの統合
Ollama の API は OpenAI のチャット補完フォーマットと互換性があります。ベース URL を http://localhost:11434/v1 に変更し、API キーに任意の文字列を使うだけで同じコードを再利用できます。LangChain や LlamaIndex などのライブラリも Ollama にネイティブ対応しており、RAG やエージェントパイプラインでクラウドモデルをローカルモデルに簡単に置き換えられます。