サーバーレスAIの理由
従来のGPUサーバーは高価でほとんどの時間アイドル状態です。サーバーレス推論は実際の使用量に対してのみ課金します。
プラットフォーム
Modal
- Pythonネイティブのサーバーレスクラウド。
- コードの変更でGPUにアクセスできます。
- MLパイプラインとバッチ推論に最適です。
- 料金: GPUの秒単位課金。
Replicate
- API経由でオープンソースモデルを実行できます。
- インフラ管理は不要です。
- モデルライブラリが豊富です(Llama、Stable Diffusion、Whisper)。
- 料金: GPU時間の秒単位課金。
Cloudflare Workers AI
- 世界中のエッジにモデルをデプロイします。
- エンドユーザーにとって低レイテンシです。
- モデルの選択肢は限定的ですが、増え続けています。
- 料金: リクエスト単位。
Banana / Together AI
- LLM推論に特化しています。
- ゼロから数千リクエストまで自動でスケールします。
- 高ボリュームのワークロードに対して競争力のある価格です。
向いていないケース
- 一貫した高スループットワークロードです。
- 利用可能なGPUメモリを超える大型モデルです。
- 50ms未満の応答が必要なレイテンシ重視アプリです。
アーキテクチャパターン
- コールドスタートの緩和: モデルキャッシュと事前ウォームアップを使います。
- リクエストキューイング: スケールアップ中はリクエストをバッファリングします。
- エッジ + クラウド: 単純なモデルはエッジ、複雑なものはクラウドで動かします。
最も一般的なパターンはAPI Gateway→Lambda/Cloud Function→モデルエンドポイントです。GPU推論にはModal、Replicate、またはAWS Lambda with GPUを使用してください。CPU推論(小さいモデル、量子化)なら通常のLambda関数で十分です。
コールドスタート最適化
- プロビジョンド並行性: ウォームインスタンスを維持してください(AWS)。
- モデルキャッシング: /tmpまたはEFSにモデルを保存してください。
- 小さいモデル: 100MBモデルは~200msでロードします。量子化モデルでサイズ最小化してください。
- SnapStart: Javaベースの推論サーバーのコールドスタートを90%削減します。
コールドスタートが本当に痛いところ
毎回のコールドスタートで数GBのモデルを読み込むサーバーレス関数は、実用的な意味ではサーバーレスではありません。アイドル後の最初のリクエストに数十秒かかり、モデルを温め続けるコストは小型VMとほぼ同じになります。実務的な分担は、モデルをマネージド推論エンドポイントの背後に置き、サーバーレス関数には認証、プロンプト組み立て、検索、応答整形といったオーケストレーションだけを持たせることです。これらはミリ秒単位でゼロまで縮み、高コストな部分は温かいまま動くよう設計された基盤に残ります。
関数内でモデルを動かす必要があるなら、ブログの平均値ではなく自分のペイロードでp95のコールドスタート遅延を測ってください。時間はイメージサイズ、レイヤーキャッシュ、デプロイ後にコンテナを温存するかで変わります。イメージを削り、より小さい量子化モデルを使うと半分になることがよくあります。
ストリーミングはコスト構造を変える
トークンのストリーミングはUX機能として語られますが、時間の予算の組み方も変えます。8秒で終わるリクエストでも、スピナーを見続けると壊れて見え、最初のトークンが300ミリ秒で届けば即座に感じます。タイムアウトは総時間ではなく最初のトークンまでの時間に設定し、その後のストリームは継続させてください。
モデル呼び出しを一つの関数の背後に置く
最終的にサーバーレスからコンテナへ、あるいは提供元を変えるかは、どれだけの場所がモデルを知っているかにかかっています。クライアント、タイムアウト、再試行方針、応答形状を1つのモジュールが持てば、移行は半日仕事になります。5つのroute handlerから直接SDKを呼ぶと、書き直しになります。