GGUF 格式

一种存储量化模型的文件格式，广泛用于 llama.cpp、Ollama 等本地运行 LLM。

相关资源

Ollama 本地大模型部署

使用 Ollama 在本地运行大语言模型，支持 Llama、Mistral 等多种开源模型。

LM Studio 本地模型客户端

在本地一键下载并运行开源大模型的桌面应用，提供图形界面和 OpenAI 兼容接口。