为什么用无服务器 AI?
传统 GPU 服务器昂贵且大部分时间闲置。无服务器推理让你按实际使用量付费。
平台
Modal
- Python 原生无服务器云。
- 少量代码改动即可获得 GPU。
- 适合 ML 流水线与批量推理。
- 计费:按秒计费的 GPU。
Replicate
- 通过 API 运行开源模型。
- 无需基础设施管理。
- 模型库庞大(Llama、Stable Diffusion、Whisper)。
- 计费:按秒计算的 GPU 时间。
Cloudflare Workers AI
- 全球边缘部署模型。
- 终端用户低延迟。
- 模型选择有限,但仍在增加。
- 计费:按请求。
Banana / Together AI
- 专精 LLM 推理。
- 从零到数千请求自动扩缩。
- 面向高量工作负载有竞争力的价格。
架构模式
- 冷启动缓解:使用模型缓存和预热。
- 请求队列:扩容期间缓冲请求。
- 边缘 + 云:简单模型在边缘,复杂模型在云端。
不适合无服务器的场景
- 持续高吞吐工作负载(>80% GPU 利用率)。
- 模型太大超出可用 GPU 内存。
- 需要 <50ms 响应的延迟敏感应用。
最常见模式是 API Gateway → Lambda/Cloud Function → 模型端点。GPU 推理使用 Modal、Replicate 或 AWS Lambda with GPU(即将推出)。CPU 推理(小模型、量化)用标准 Lambda 函数即可。
冷启动优化
冷启动是无服务器 AI 的最大挑战。策略:
- 预置并发:保持预热实例(AWS),但有额外成本。
- 模型缓存:将模型存储在 /tmp 或 EFS。如果容器预热,Lambda 可跨调用重用文件。
- 更小模型:100MB 模型加载约 200ms;2GB 模型约 4 秒。使用量化模型(GGUF Q4)最小化大小。
- SnapStart:AWS Lambda SnapStart 将 Java 推理服务器的冷启动减少 90%。
冷启动真正伤人的地方
一个每次冷启动都要加载数 GB 模型的 serverless 函数,其实不算是 serverless:空闲后的第一个请求要等几十秒,而保温成本已接近一台小虚拟机。务实的做法是把模型放在托管的推理端点后面,让 serverless 函数只负责编排:鉴权、拼装提示词、检索、整形成响应。这些步骤只有毫秒级开销,能干净地缩到零,而昂贵的那部分留在本就设计为常驻的基础设施上。
如果确实要在函数里跑模型,请用自己的负载测 p95 冷启动延迟,而不是引用某篇博客的平均值。冷启动时间取决于镜像大小、层缓存,以及服务商在部署后是否保容器温热。精简镜像加上更小的量化模型,往往能把时间砍半。
流式输出改变了成本结构
Token 流式输出常被说成体验特性,但它也改变了时间预算的方式。一个 8 秒完成的请求,用户盯着转圈会觉得坏了;而首 token 300 毫秒到达,就觉得是即时的。把超时设在首 token 时间上而不是总时长上,让流在这之后继续。
把模型调用收在一个函数后面
你最终会不会从 serverless 换到容器、或从一个服务商换到另一个,取决于有多少处代码「知道」这个模型。一个模块负责客户端、超时、重试策略和响应形状,能把迁移变成一下午的事。从五个 route handler 里直接调 SDK,则会把它变成一次重写。