量化（Quantization）

降低模型权重的数值精度（如降至 4-bit），以缩小体积并在更低硬件上运行。

相关资源

Ollama 本地大模型部署

使用 Ollama 在本地运行大语言模型，支持 Llama、Mistral 等多种开源模型。

LM Studio 本地模型客户端

在本地一键下载并运行开源大模型的桌面应用，提供图形界面和 OpenAI 兼容接口。