成本问题

LLM API 成本可能迅速增长。服务 1 万用户的中等应用每月可能花费 $500-2000。以下是降低方法。

1. 积极缓存

  • 使用语义缓存处理相同或相似的查询。
  • 对热路径使用 Redis 或内存 LRU。
  • 大多数应用缓存命中率:30-60%。

2. 简单任务用小模型

  • 将简单查询路由到 GPT-6 Luna 或 Claude Haiku 5.5 等低成本模型。
  • 复杂推理保留给 GPT-6 Astra 或 Claude Sonnet 5.5 等前沿模型。
  • 用分类器决定路由。

3. 优化提示词

  • 更短的系统提示 = 更少的输入 token。
  • 删除冗余指令。
  • 用结构化输出避免冗长的回复。

4. 批量请求

  • OpenAI 和 Anthropic 提供 50% 折扣的批量 API。
  • 把非紧急请求排队,批量处理。

5. 限制上下文窗口

  • 只发送相关上下文,不发送整个文档。
  • 用 RAG 只检索需要的片段。
  • 发送前先摘要长对话。

6. 监控和设定预算

  • 用用量看板跟踪支出。
  • 按用户、按功能设置硬性上限。
  • 异常飙升时告警。

7. 微调替代提示

  • 微调过的小模型可以替代靠提示词驱动的大模型。
  • 规模化后每 token 成本可省 5-10 倍(经验值,无官方公布口径:盈亏平衡取决于你的 token 量、训练成本与所选模型组合,请按自身流量实测)。

8. 使用流式传输

  • 流式让用户可以提前取消,省下输出 token。
  • 体验也更好——用户能更早看到部分结果。

9. 高流量自托管

  • 超过每天 1000 万 token 时,自托管开源模型通常更便宜(经验阈值,非官方公布:未计入工程人力、闲置 GPU 容量,以及硬件是否已有,请与自己的账单对比)。
  • 用 vLLM 或 TGI 做高效推理服务。

10. 谈判企业方案

  • 多数服务商提供用量折扣。
  • 承诺每月支出以换取更优价格。

快速见效:语义缓存

很多 API 调用是重复或近似重复的。语义缓存存储之前输入及其响应的向量嵌入。新请求到达时,计算其嵌入并与缓存比对。如果余弦相似度超过 0.95,直接返回缓存响应。仅此一项就能降低 30u201360% 的成本。

模型路由:80/20 法则

不是每个请求都需要前沿模型。把简单请求(格式化、短回答、分类)路由到更便宜的模型如 GPT-6 Luna 或 Claude Haiku 5.5。复杂推理、长文生成或高精度任务才用贵的模型。入口处的简单分类器可以按复杂度排序并路由。

批处理与异步处理

如果用例不需要实时响应,就批量处理。OpenAI 的批量 API 提供 50% 折扣。在低峰期处理可获得更优惠价格。同样,有选择地使用流式——流式适合聊天 UI 但对后台处理浪费资源。

你的账单大部分是你并不需要的输入 token

本能反应是去谈每 token 的价格。更大的杠杆通常是 token 数量,而其中大部分是输入。冗长的系统提示词、包含整篇文档而不是相关段落而检索出的上下文、以及不加裁剪就不断增长的对话历史,都会在每一次请求上乘你的账单。测一下你应用的输入输出 token 比;如果远高于任务所需,你就找到了第一个项目。

有意识地裁剪历史:最近几轮原样保留,更早的做摘要,其余丢弃。如果你的服务商支持前缀缓存,把静态前缀缓存起来,并让提示词结构做到静态在前、变量在后。单是这个顺序就能明显改变被缓存的比例。

按难度路由

不是每个请求都需要你最大的模型。一个便宜的分类器把简单请求送给小模型、只把难的升级,能在质量要紧的地方保持不变的同时把成本砍掉一大截。用「全部发给大模型」作对照,测一下升级路径的质量;通常的发现是小模型能可接受地处理多数流量,而升级率很低。

小心重试风暴

一个失败请求重试三次,成本是四倍,产出的还是同一个失败。给重试设上限,区分可重试与不可重试的错误,并记录重试率。成本突然飙升,多半是重试循环而不是流量增长。

买能通过你评测的最便宜那个

在假设你需要前沿模型之前,先用你自己的评测集跑一个更小的模型。差距往往小于价格差,而决定应该来自你的数据,而不是一般印象。

文中的模型名称已于 2026-11-10 对照 OpenAI 与 Anthropic 的官方文档核实。