量化（Quantization）
降低模型权重的数值精度（如降至 4-bit），以缩小体积并在更低硬件上运行。
4-bit 量化后的模型体积约为 16-bit 原版的四分之一，能让 7B–8B 模型在笔记本上运行，质量损失通常很小且可接受。
相关资源
Ollama 本地大模型部署
一款跨平台工具，让你在本地机器上下载并运行 Llama、Mistral、Phi 等开源大模型。提供 CLI、本地 API 服务和 OpenAI 兼容端点，可以完全私密地体验模型——无需显卡或云账户。适合需要离线 AI 能力或在部署到生产环境前测试提示词的开发者。
LM Studio 本地模型客户端
LM Studio 是一款桌面应用，只需一键即可下载并在本地运行开源大模型。它提供精美的图形聊天界面、OpenAI 兼容的本地 API 服务器，并支持 GGUF/GGML 格式——无需命令行或 GPU 专业知识。
llama.cpp
llama.cpp 是轻量级 C/C++ 推理引擎，可在 CPU 和消费级 GPU 上高效运行开源大模型，是 Ollama、LM Studio 等众多本地 AI 工具的底层基石。其 GGUF 量化格式让大模型无需专用加速卡也能装进普通硬件运行。