GGUF 格式
一种存储量化模型的文件格式，广泛用于 llama.cpp、Ollama 等本地运行 LLM。
单个 .gguf 文件打包了权重与元数据，文件名通常标注量化级别（如 Q4_K_M）。位数越高越精确，但体积更大、速度更慢。
相关资源
Ollama 本地大模型部署
一款跨平台工具，让你在本地机器上下载并运行 Llama、Mistral、Phi 等开源大模型。提供 CLI、本地 API 服务和 OpenAI 兼容端点，可以完全私密地体验模型——无需显卡或云账户。适合需要离线 AI 能力或在部署到生产环境前测试提示词的开发者。
LM Studio 本地模型客户端
LM Studio 是一款桌面应用，只需一键即可下载并在本地运行开源大模型。它提供精美的图形聊天界面、OpenAI 兼容的本地 API 服务器，并支持 GGUF/GGML 格式——无需命令行或 GPU 专业知识。
llama.cpp
llama.cpp 是轻量级 C/C++ 推理引擎，可在 CPU 和消费级 GPU 上高效运行开源大模型，是 Ollama、LM Studio 等众多本地 AI 工具的底层基石。其 GGUF 量化格式让大模型无需专用加速卡也能装进普通硬件运行。