开源 LLM 全家桶
用开放权重模型运行与构建：本地运行时、推理服务与应用框架。
Ollama 本地大模型部署
一款跨平台工具，让你在本地机器上下载并运行 Llama、Mistral、Phi 等开源大模型。提供 CLI、本地 API 服务和 OpenAI 兼容端点，可以完全私密地体验模型——无需显卡或云账户。适合需要离线 AI 能力或在部署到生产环境前测试提示词的开发者。
vLLM 高性能推理框架
vLLM 是面向大语言模型的高吞吐推理与服务引擎，通过 PagedAttention 技术大幅提升显存利用率和吞吐量。它支持连续批处理、张量并行和 OpenAI 兼容 API 服务，是大规模部署 LLM 的首选方案。
Open WebUI
Open WebUI 是一款功能丰富的自托管 AI 对话界面，开箱支持 Ollama 和 OpenAI 兼容 API。它可完全离线运行，提供精致的多模型对话体验，并包含角色管理、Markdown 支持和插件扩展能力，适合团队和个人使用。
LM Studio 本地模型客户端
LM Studio 是一款桌面应用，只需一键即可下载并在本地运行开源大模型。它提供精美的图形聊天界面、OpenAI 兼容的本地 API 服务器，并支持 GGUF/GGML 格式——无需命令行或 GPU 专业知识。
Dify LLM 应用开发平台
Dify 是开源的 LLM 应用开发平台，集可视化工作流编排、内置 RAG 引擎和 Agent 能力于一体。它帮助开发者和非技术用户快速构建、测试和部署 AI 应用，支持多种模型提供商和无缝 API 集成。
PyTorch 深度学习框架
PyTorch 是 Meta 开发的业界主流开源深度学习框架，以动态计算图和 Python 风格的接口著称。它既支撑前沿 AI 研究，也用于生产环境部署，拥有丰富的训练、调试工具生态，支持在多 GPU 和 TPU 上扩展模型。
Hugging Face Transformers 教程
Hugging Face Transformers 官方教程——NLP 与计算机视觉领域的行业标准库。涵盖文本分类、分词、翻译、图像分割等任务，提供 PyTorch 和 TensorFlow 双后端代码示例。适合希望利用预训练模型或在自定义数据集上微调以投入生产使用的从业者。
Meta Llama
Llama 是 Meta 的开放权重大模型家族，是开源 AI 生态的中坚力量，可在本地或任意云端部署。它提供从轻量到旗舰级的多种规格，衍生出无数微调模型，让组织完全掌控自己的 AI 技术栈。
llama.cpp
llama.cpp 是轻量级 C/C++ 推理引擎，可在 CPU 和消费级 GPU 上高效运行开源大模型，是 Ollama、LM Studio 等众多本地 AI 工具的底层基石。其 GGUF 量化格式让大模型无需专用加速卡也能装进普通硬件运行。