ローカルでLLMを実行する理由

  • プライバシー: データがマシンから出ません。
  • コスト: セットアップ後トークン費用ゼロです。
  • 速度: ネットワークレイテンシなしです。

Ollamaのインストール

  • [ollama.com](https://ollama.com)からダウンロードしてください。
  • `ollama pull llama3`でモデルをダウンロードしてください。

人気のモデル

  • Llama 3 8B: 8GB RAMで動作します。
  • Qwen 2.5: 中国語・多言語に優れます。
  • Mistral 7B: コーディングタスクに高速です。

API使用

`http://localhost:11434`でローカルREST APIを提供します。

適切なローカルモデルの選択

選択はハードウェアとユースケース次第です。ラップトップでのコーディングにはQwen2.5-Coder 7BまたはLlama 3.1 8B（4-bit量子化）です。一般的な会話にはMistral 7B v0.3またはGemma 2 9Bです。24GB以上のVRAMがあればLlama 3.1 70B Q4でクラウドに近い品質です。

パフォーマンスチューニング

  • 量子化: Q4_K_Mがベストコスト比です。Q5_K_Mは若干良いが20%大きいです。Q2/Q3は品質が急降下するので避けてください。
  • コンテキスト長: デフォルトは通常2048または4096トークンです。必要な時のみ増加してください。
  • GPUオフロード: --n-gpu-layersでVRAMが許す限り多くのレイヤーをオフロードしてください。

よくある落とし穴

最大の間違いはハードウェアに対して大きすぎるモデルを実行することです。16GB RAMで70Bは激遅です（1–2トークン/秒）。7Bモデルで30+トークン/秒の方が良いです。2番目の間違いはシステムプロンプトを無視すること——ローカルモデルはそれに非常に敏感です。