成本问题
LLM API 成本可能迅速增长。服务 1 万用户的中等应用每月可能花费 $500-2000。以下是降低方法。
1. 积极缓存
- 使用语义缓存处理相同或相似的查询。
- 对热路径使用 Redis 或内存 LRU。
- 大多数应用缓存命中率:30-60%。
2. 简单任务用小模型
- 将简单查询路由到 GPT-6 Luna 或 Claude Haiku 5.5 等低成本模型。
- 复杂推理保留给 GPT-6 Astra 或 Claude Sonnet 5.5 等前沿模型。
- 用分类器决定路由。
3. 优化提示词
- 更短的系统提示 = 更少的输入 token。
- 删除冗余指令。
- 用结构化输出避免冗长的回复。
4. 批量请求
- OpenAI 和 Anthropic 提供 50% 折扣的批量 API。
- 把非紧急请求排队,批量处理。
5. 限制上下文窗口
- 只发送相关上下文,不发送整个文档。
- 用 RAG 只检索需要的片段。
- 发送前先摘要长对话。
6. 监控和设定预算
- 用用量看板跟踪支出。
- 按用户、按功能设置硬性上限。
- 异常飙升时告警。
7. 微调替代提示
- 微调过的小模型可以替代靠提示词驱动的大模型。
- 规模化后每 token 成本可省 5-10 倍(经验值,无官方公布口径:盈亏平衡取决于你的 token 量、训练成本与所选模型组合,请按自身流量实测)。
8. 使用流式传输
- 流式让用户可以提前取消,省下输出 token。
- 体验也更好——用户能更早看到部分结果。
9. 高流量自托管
- 超过每天 1000 万 token 时,自托管开源模型通常更便宜(经验阈值,非官方公布:未计入工程人力、闲置 GPU 容量,以及硬件是否已有,请与自己的账单对比)。
- 用 vLLM 或 TGI 做高效推理服务。
10. 谈判企业方案
- 多数服务商提供用量折扣。
- 承诺每月支出以换取更优价格。
快速见效:语义缓存
很多 API 调用是重复或近似重复的。语义缓存存储之前输入及其响应的向量嵌入。新请求到达时,计算其嵌入并与缓存比对。如果余弦相似度超过 0.95,直接返回缓存响应。仅此一项就能降低 30u201360% 的成本。
模型路由:80/20 法则
不是每个请求都需要前沿模型。把简单请求(格式化、短回答、分类)路由到更便宜的模型如 GPT-6 Luna 或 Claude Haiku 5.5。复杂推理、长文生成或高精度任务才用贵的模型。入口处的简单分类器可以按复杂度排序并路由。
批处理与异步处理
如果用例不需要实时响应,就批量处理。OpenAI 的批量 API 提供 50% 折扣。在低峰期处理可获得更优惠价格。同样,有选择地使用流式——流式适合聊天 UI 但对后台处理浪费资源。
你的账单大部分是你并不需要的输入 token
本能反应是去谈每 token 的价格。更大的杠杆通常是 token 数量,而其中大部分是输入。冗长的系统提示词、包含整篇文档而不是相关段落而检索出的上下文、以及不加裁剪就不断增长的对话历史,都会在每一次请求上乘你的账单。测一下你应用的输入输出 token 比;如果远高于任务所需,你就找到了第一个项目。
有意识地裁剪历史:最近几轮原样保留,更早的做摘要,其余丢弃。如果你的服务商支持前缀缓存,把静态前缀缓存起来,并让提示词结构做到静态在前、变量在后。单是这个顺序就能明显改变被缓存的比例。
按难度路由
不是每个请求都需要你最大的模型。一个便宜的分类器把简单请求送给小模型、只把难的升级,能在质量要紧的地方保持不变的同时把成本砍掉一大截。用「全部发给大模型」作对照,测一下升级路径的质量;通常的发现是小模型能可接受地处理多数流量,而升级率很低。
小心重试风暴
一个失败请求重试三次,成本是四倍,产出的还是同一个失败。给重试设上限,区分可重试与不可重试的错误,并记录重试率。成本突然飙升,多半是重试循环而不是流量增长。
买能通过你评测的最便宜那个
在假设你需要前沿模型之前,先用你自己的评测集跑一个更小的模型。差距往往小于价格差,而决定应该来自你的数据,而不是一般印象。
文中的模型名称已于 2026-11-10 对照 OpenAI 与 Anthropic 的官方文档核实。