サーバーレスAIの理由

従来のGPUサーバーは高価でほとんどの時間アイドル状態です。サーバーレス推論は実際の使用量に対してのみ課金します。

プラットフォーム

Modal

  • Pythonネイティブのサーバーレスクラウド。
  • コードの変更でGPUにアクセスできます。
  • MLパイプラインとバッチ推論に最適です。
  • 料金: GPUの秒単位課金。

Replicate

  • API経由でオープンソースモデルを実行できます。
  • インフラ管理は不要です。
  • モデルライブラリが豊富です(Llama、Stable Diffusion、Whisper)。
  • 料金: GPU時間の秒単位課金。

Cloudflare Workers AI

  • 世界中のエッジにモデルをデプロイします。
  • エンドユーザーにとって低レイテンシです。
  • モデルの選択肢は限定的ですが、増え続けています。
  • 料金: リクエスト単位。

Banana / Together AI

  • LLM推論に特化しています。
  • ゼロから数千リクエストまで自動でスケールします。
  • 高ボリュームのワークロードに対して競争力のある価格です。

向いていないケース

  • 一貫した高スループットワークロードです。
  • 利用可能なGPUメモリを超える大型モデルです。
  • 50ms未満の応答が必要なレイテンシ重視アプリです。

アーキテクチャパターン

  • コールドスタートの緩和: モデルキャッシュと事前ウォームアップを使います。
  • リクエストキューイング: スケールアップ中はリクエストをバッファリングします。
  • エッジ + クラウド: 単純なモデルはエッジ、複雑なものはクラウドで動かします。

最も一般的なパターンはAPI Gateway→Lambda/Cloud Function→モデルエンドポイントです。GPU推論にはModal、Replicate、またはAWS Lambda with GPUを使用してください。CPU推論(小さいモデル、量子化)なら通常のLambda関数で十分です。

コールドスタート最適化

  • プロビジョンド並行性: ウォームインスタンスを維持してください(AWS)。
  • モデルキャッシング: /tmpまたはEFSにモデルを保存してください。
  • 小さいモデル: 100MBモデルは~200msでロードします。量子化モデルでサイズ最小化してください。
  • SnapStart: Javaベースの推論サーバーのコールドスタートを90%削減します。

コールドスタートが本当に痛いところ

毎回のコールドスタートで数GBのモデルを読み込むサーバーレス関数は、実用的な意味ではサーバーレスではありません。アイドル後の最初のリクエストに数十秒かかり、モデルを温め続けるコストは小型VMとほぼ同じになります。実務的な分担は、モデルをマネージド推論エンドポイントの背後に置き、サーバーレス関数には認証、プロンプト組み立て、検索、応答整形といったオーケストレーションだけを持たせることです。これらはミリ秒単位でゼロまで縮み、高コストな部分は温かいまま動くよう設計された基盤に残ります。

関数内でモデルを動かす必要があるなら、ブログの平均値ではなく自分のペイロードでp95のコールドスタート遅延を測ってください。時間はイメージサイズ、レイヤーキャッシュ、デプロイ後にコンテナを温存するかで変わります。イメージを削り、より小さい量子化モデルを使うと半分になることがよくあります。

ストリーミングはコスト構造を変える

トークンのストリーミングはUX機能として語られますが、時間の予算の組み方も変えます。8秒で終わるリクエストでも、スピナーを見続けると壊れて見え、最初のトークンが300ミリ秒で届けば即座に感じます。タイムアウトは総時間ではなく最初のトークンまでの時間に設定し、その後のストリームは継続させてください。

モデル呼び出しを一つの関数の背後に置く

最終的にサーバーレスからコンテナへ、あるいは提供元を変えるかは、どれだけの場所がモデルを知っているかにかかっています。クライアント、タイムアウト、再試行方針、応答形状を1つのモジュールが持てば、移行は半日仕事になります。5つのroute handlerから直接SDKを呼ぶと、書き直しになります。