为什么在本地运行 LLM?

  • 隐私:数据永远不会离开你的机器。
  • 成本:设置后零 token 费用。
  • 速度:推理无网络延迟。
  • 离线:无需互联网连接即可工作。

安装 Ollama

  • 从 ollama.com 下载——支持 macOS、Linux 和 Windows。
  • 运行 `ollama pull gemma3` 下载模型。
  • 运行 `ollama run gemma3` 开始对话。

热门模型

  • Qwen3 8B:均衡的默认选择,下载 5.2GB,上下文 40K。
  • Gemma 3 12B:谷歌的多模态模型,8.2GB,上下文 128K。
  • DeepSeek-R1 8B:以推理为目标的蒸馏版,5.2GB,上下文 128K。
  • Qwen3-Coder 30B:混合专家编程模型,19GB,建议 24GB 显卡。
  • Phi-4 14B:微软的小型推理模型,9.1GB,上下文 16K。

上述体积与上下文长度取自 Ollama 为各标签公布的数值(2026-11-10 核对)。

API 使用

Ollama 在 `http://localhost:11434` 提供本地 REST API。

  • `POST /api/generate`:文本生成。
  • `POST /api/chat`:聊天补全。
  • 可通过覆盖 base URL 兼容 OpenAI SDK。

两个接口都必须带 `model` 字段,填已下载的 tag(`ollama list` 可查看),官方 API 文档将其标为必填。最小的聊天请求体是 `{"model": "gemma3", "messages": [{"role": "user", "content": "hello"}]}`,把它发到 `/api/chat`,Ollama 会流式返回 JSON 对象。

加上 "stream": false 则一次性返回完整回复与耗时统计。

集成技巧

  • 通过 `OllamaLLM` 类与 LangChain 配合使用。
  • 与 Open WebUI 配合使用,获得接近 ChatGPT 的界面。
  • GPU 加速:支持 NVIDIA(CUDA)与 Apple Silicon(Metal)。

性能预期

  • M2 MacBook 上 7B 模型:约 30 tokens/秒。
  • RTX 4090 上 7B 模型:约 60 tokens/秒。
  • 48GB 内存(CPU)上 70B 模型:约 3 tokens/秒。43GB 的下载体积几乎占满内存,长上下文没有余量。

选择合适的本地模型

选择取决于硬件和用例。笔记本上编程推荐 Qwen2.5-Coder 7B(4.7GB)或 Llama 3.1 8B(4.9GB,4-bit 量化)。通用对话推荐 Qwen3 8B(5.2GB)或 Gemma 3 12B(8.2GB)。24GB 显卡可以放下 19GB 的 Qwen3-30B-A3B;Llama 3.1 70B 的下载体积是 43GB,需要 48GB 或更多内存,而不是 24GB。

性能调优

  • 量化:Q4_K_M 性价比最高。Q5_K_M 略好但大 20%。除非万不得已不要用 Q2/Q3——质量急剧下降。
  • 上下文长度:默认通常 2048 或 4096 token。仅在需要时增加——更长上下文消耗更多内存。
  • GPU 卸载:用 --n-gpu-layers 把尽可能多的层卸载到 GPU。层数越多 = 速度越快。
  • 批大小:显存允许时增加 --batch-size 以加快提示处理。

常见坑

第一个错误是运行超出硬件能力的模型。16GB 内存跑 70B 模型会极慢(1–2 token/秒)。不如跑 7B 模型达到 30+ token/秒。第二个错误是忽略系统提示词——本地模型对它非常敏感。精心编写的系统提示词能让平庸的模型变成有用的助手。

选模型之前先测每秒 token 数

公布的参数量几乎不能告诉你这个模型在你机器上能不能用。真正要紧的是你硬件上的生成速度,单位是每秒 token,而这个数字更多取决于内存带宽,而不是原始算力。一个能塞进内存、但生成速度勉强快过你阅读速度的模型是折磨;跑到每秒三十个 token 的才像对话。在决定规模之前,用一个输出长度已知的固定提示词亲手计时。

模型塞不进内存不是变慢,而是跑到 CPU 上,那通常差一个数量级。所以「装得下」这个问题是二元的,且要优先回答:按你选的量化方式查内存需求,再给操作系统和上下文留出余量。

量化是主要杠杆

从十六位权重降到八位或四位,大致把内存占用砍半、砍到四分之一,而对很多任务来说,质量差异在你自己的评测里小到看不出来。它不是免费的:推理密集型任务和长上下文检索的退化比流畅对话更明显。按你打算上线的量化档位测试,而不是假设文件里最上面那个变体才是用户会看到的东西。

本地模型真正赢的地方

隐私、离线、成本可预期、不受限流约束。一个跑分类任务每秒五个 token、且永远不离开你笔记本的本地模型,对你不能外发的工作来说比托管模型更好。反过来也要诚实:开放式推理和代码生成上,托管的前沿仍然明显领先,假装不是这样,付出的是用户拿到的质量。