为什么用无服务器 AI?

传统 GPU 服务器昂贵且大部分时间闲置。无服务器推理让你按实际使用量付费。

平台

Modal

  • Python 原生无服务器云。
  • 少量代码改动即可获得 GPU。
  • 适合 ML 流水线与批量推理。
  • 计费:按秒计费的 GPU。

Replicate

  • 通过 API 运行开源模型。
  • 无需基础设施管理。
  • 模型库庞大(Llama、Stable Diffusion、Whisper)。
  • 计费:按秒计算的 GPU 时间。

Cloudflare Workers AI

  • 全球边缘部署模型。
  • 终端用户低延迟。
  • 模型选择有限,但仍在增加。
  • 计费:按请求。

Banana / Together AI

  • 专精 LLM 推理。
  • 从零到数千请求自动扩缩。
  • 面向高量工作负载有竞争力的价格。

架构模式

  • 冷启动缓解:使用模型缓存和预热。
  • 请求队列:扩容期间缓冲请求。
  • 边缘 + 云:简单模型在边缘,复杂模型在云端。

不适合无服务器的场景

  • 持续高吞吐工作负载(>80% GPU 利用率)。
  • 模型太大超出可用 GPU 内存。
  • 需要 <50ms 响应的延迟敏感应用。

最常见模式是 API Gateway → Lambda/Cloud Function → 模型端点。GPU 推理使用 Modal、Replicate 或 AWS Lambda with GPU(即将推出)。CPU 推理(小模型、量化)用标准 Lambda 函数即可。

冷启动优化

冷启动是无服务器 AI 的最大挑战。策略:

  • 预置并发:保持预热实例(AWS),但有额外成本。
  • 模型缓存:将模型存储在 /tmp 或 EFS。如果容器预热,Lambda 可跨调用重用文件。
  • 更小模型:100MB 模型加载约 200ms;2GB 模型约 4 秒。使用量化模型(GGUF Q4)最小化大小。
  • SnapStart:AWS Lambda SnapStart 将 Java 推理服务器的冷启动减少 90%。

冷启动真正伤人的地方

一个每次冷启动都要加载数 GB 模型的 serverless 函数,其实不算是 serverless:空闲后的第一个请求要等几十秒,而保温成本已接近一台小虚拟机。务实的做法是把模型放在托管的推理端点后面,让 serverless 函数只负责编排:鉴权、拼装提示词、检索、整形成响应。这些步骤只有毫秒级开销,能干净地缩到零,而昂贵的那部分留在本就设计为常驻的基础设施上。

如果确实要在函数里跑模型,请用自己的负载测 p95 冷启动延迟,而不是引用某篇博客的平均值。冷启动时间取决于镜像大小、层缓存,以及服务商在部署后是否保容器温热。精简镜像加上更小的量化模型,往往能把时间砍半。

流式输出改变了成本结构

Token 流式输出常被说成体验特性,但它也改变了时间预算的方式。一个 8 秒完成的请求,用户盯着转圈会觉得坏了;而首 token 300 毫秒到达,就觉得是即时的。把超时设在首 token 时间上而不是总时长上,让流在这之后继续。

把模型调用收在一个函数后面

你最终会不会从 serverless 换到容器、或从一个服务商换到另一个,取决于有多少处代码「知道」这个模型。一个模块负责客户端、超时、重试策略和响应形状,能把迁移变成一下午的事。从五个 route handler 里直接调 SDK,则会把它变成一次重写。