ローカルでLLMを実行する理由

  • プライバシー: データがマシンから出ません。
  • コスト: セットアップ後トークン費用ゼロです。
  • 速度: ネットワークレイテンシなしです。
  • オフライン: インターネット接続なしでも動作します。

Ollamaのインストール

  • ollama.comからダウンロードしてください。
  • `ollama pull gemma3`でモデルをダウンロードしてください。
  • `ollama run gemma3`でチャットを開始してください。

人気のモデル

  • Qwen3 8B: バランスの良い既定です。5.2GB、40Kコンテキスト。
  • Gemma 3 12B: Googleのマルチモーダルモデルです。8.2GB、128Kコンテキスト。
  • DeepSeek-R1 8B: 推論に振った蒸留版です。5.2GB、128Kコンテキスト。
  • Qwen3-Coder 30B: 混合エキスパートのコーディングモデルです。19GB、24GBのGPUを推奨します。
  • Phi-4 14B: Microsoftの小型推論モデルです。9.1GB、16Kコンテキスト。

各サイズとコンテキスト長は、Ollama がタグごとに公開している値です(2026-11-10 確認)。

API使用

`http://localhost:11434`でローカルREST APIを提供します。

  • `POST /api/generate` はテキスト生成です。
  • `POST /api/chat` はチャット補完です。
  • ベースURLの上書きでOpenAI SDKとの互換性があります。

どちらのエンドポイントも `model` フィールドが必須で、取得済みのタグを指定します(`ollama list` で確認できます)。最小のチャットリクエスト本文は `{"model": "gemma3", "messages": [{"role": "user", "content": "hello"}]}` で、これを `/api/chat` に送るとJSONオブジェクトがストリームで返ります。

"stream": false を加えると、返信全文と処理時間の統計を含む単一のオブジェクトが返ります。

統合のヒント

  • `OllamaLLM` クラス経由で LangChain と併用します。
  • ChatGPT に近いインターフェースにするため Open WebUI と併用します。
  • GPU アクセラレーション: NVIDIA(CUDA)と Apple Silicon(Metal)で動作します。

パフォーマンス期待値

  • M2 MacBook の 7B モデル: 約30トークン/秒。
  • RTX 4090 の 7B モデル: 約60トークン/秒。
  • 48GB RAM(CPU)の 70B モデル: 約3トークン/秒。43GB のダウンロードでメモリはほぼ埋まり、長いコンテキストの余裕はありません。

適切なローカルモデルの選択

選択はハードウェアとユースケース次第です。ラップトップでのコーディングにはQwen2.5-Coder 7B(4.7GB)またはLlama 3.1 8B(4.9GB、4-bit量子化)です。一般的な会話にはQwen3 8B(5.2GB)またはGemma 3 12B(8.2GB)です。24GBのGPUには19GBのQwen3-30B-A3Bが収まります。Llama 3.1 70Bはダウンロードが43GBなので、24GBではなく48GB以上のメモリが必要です。

パフォーマンスチューニング

  • 量子化: Q4_K_Mがベストコスト比です。Q5_K_Mは若干良いが20%大きいです。Q2/Q3は品質が急降下するので避けてください。
  • コンテキスト長: デフォルトは通常2048または4096トークンです。必要な時のみ増加してください。
  • GPUオフロード: --n-gpu-layersでVRAMが許す限り多くのレイヤーをオフロードしてください。
  • バッチサイズ: VRAMが許せば、プロンプト処理を速くするため--batch-sizeを増やしてください。

よくある落とし穴

最大の間違いはハードウェアに対して大きすぎるモデルを実行することです。16GB RAMで70Bは激遅です(1–2トークン/秒)。7Bモデルで30+トークン/秒の方が良いです。2番目の間違いはシステムプロンプトを無視すること——ローカルモデルはそれに非常に敏感です。

モデルを選ぶ前に毎秒トークンを測る

公表されたパラメータ数は、そのモデルがあなたの機械で使えるかをほとんど教えてくれません。重要なのはあなたのハードウェアでの毎秒トークンの生成速度で、その数字は生の計算能力よりもメモリ帯域に大きく依存します。メモリに収まるが読む速度と変わらない生成速度のモデルは苦痛で、毎秒30トークンなら会話に感じます。規模を決める前に、出力長が分かっている固定プロンプトで自分で計ってください。

メモリに収まらないモデルは遅くなるのではなくCPUで走り、それは通常一桁悪くなります。つまり「収まるか」は二値の問いで、最初に来ます。選んだ量子化でのメモリ要件を確認し、OSとコンテキストの余地を残してください。

量子化が主要なてこ

16ビットから8ビットや4ビットへ落とすと、メモリ使用量はおおよそ半分、四分の一になり、多くのタスクでは品質差が自分の評価で見えないほど小さいです。無料ではありません。推論重視のタスクと長いコンテキストの検索は、流暢な会話より大きく劣化します。ファイル先頭の変体がユーザーの見るものだと仮定せず、出荷する量子化でテストしてください。

ローカルモデルが本当に勝つ場所

プライバシー、オフライン動作、予測可能なコスト、レート制限からの自由。分類タスクを毎秒5トークンで走らせ、ノートPCから出ないローカルモデルは、外に出せない仕事にとってホスト型より優れています。逆も正直に。自由な推論とコード生成では、ホスト型の最前線が依然として明確に先行しており、そうでないふりはユーザーに品質のコストを払わせます。