コスト問題

LLM APIコストはすぐに膨らみます。1万ユーザーのアプリで月額$500-2000です。

1. 積極的キャッシュ

  • 同一または類似のクエリをセマンティックキャッシュでキャッシュします。
  • ホットパスにはRedisまたはインメモリLRUを使います。
  • 多くのアプリでキャッシュ率は30-60%です。

2. 簡単なタスクに小さいモデル

  • 簡単なクエリはGPT-6 LunaやClaude Haiku 5.5などの低コスト層へルーティングします。
  • 複雑な推論にはGPT-6 AstraやClaude Sonnet 5.5などのフロンティアモデルを確保します。
  • ルーティングの判断には分類器を使います。

3. プロンプト最適化

  • システムプロンプトが短いほど入力トークンが減ります。
  • 冗長な指示を削除します。
  • 冗長な応答を避けるために構造化出力を使います。

4. バッチリクエスト

  • OpenAIとAnthropicは50%割引のバッチAPIを提供しています。
  • 緊急でないリクエストをキューに入れ、バッチで処理します。

5. コンテキストウィンドウ制限

  • 文書全体ではなく、関連するコンテキストだけを送ります。
  • 必要なチャンクだけを取得するためにRAGを使います。
  • 長い会話は送信前に要約します。

6. 監視と予算設定

  • 使用状況ダッシュボードで支出を追跡します。
  • ユーザーごと、機能ごとに厳格な上限を設定します。
  • 異常な急増をアラートします。

7. ファインチューンで置き換える

  • ファインチューンした小モデルは、プロンプトで動かす大モデルを置き換えられます。
  • 規模が大きくなるとトークンあたりコストを5-10倍削減できます(経験則であり公表された数値ではありません。損益分岐点はトークン量・学習コスト・モデルの組み合わせで変わるため、自社のトラフィックで実測してください)。

8. ストリーミングを使う

  • ストリーミングではユーザーが早期にキャンセルでき、出力トークンを節約できます。
  • UXも向上します。ユーザーは部分的な結果を見られます。

9. 高ボリュームならセルフホスト

  • 1日1000万トークンを超えると、セルフホストのオープンソースモデルの方が安くなる場合が多いです(経験則の目安で、公表されたしきい値ではありません。エンジニア工数、遊休GPU、既存ハードの有無を考慮していないため、自社の請求額と比較してください)。
  • 効率的な配信にはvLLMまたはTGIを使います。

10. 企業プランを交渉する

  • 多くのプロバイダーがボリューム割引を提供しています。
  • より良いレートのために月間支出を確約します。

クイックウィン:セマンティックキャッシュ

API呼び出しの多くは重複または近似重複です。セマンティックキャッシュは過去の入力とレスポンスの埋め込みを保存します。新リクエスト時に埋め込みを計算しキャッシュと照合します。コサイン類似度が0.95超ならキャッシュを返します。これだけで30–60%コスト削減可能です。

モデルルーティング:80/20の法則

すべてのリクエストにフロンティアモデルは不要です。シンプルなリクエストをGPT-6 LunaやClaude Haiku 5.5にルーティングします。複雑な推論のみGPT-6 AstraやClaude Sonnet 5.5などのフロンティアモデルを使用してください。

バッチと非同期処理

リアルタイム不要ならバッチ処理してください。OpenAIのバッチAPIは50%割引です。オフピーク時間ならさらにお得です。同様に、ストリーミングは選んで使ってください。ストリーミングはチャットUIには最適ですが、バックグラウンド処理ではリソースの無駄になります。

請求の大半は必要のない入力トークン

反射的にトークン単価を交渉したくなります。より大きなてこは通常トークン数で、その大半は入力です。長いシステムプロンプト、関連する一節ではなく文書全体を含む検索コンテキスト、刈り込まずに伸びる会話履歴は、毎回のリクエストで請求を倍加させます。アプリの入力対出力トークン比を測ってください。タスクに必要な量を大きく超えていれば、最初のプロジェクトが見つかったことになります。

履歴は意図的に刈り込みます。直近数ターンはそのまま残し、古いものは要約し、残りは捨てます。提供元がプレフィックスキャッシュに対応しているなら静的プレフィックスをキャッシュし、プロンプトを静的が先、可変が後になるよう構成します。その順序だけでキャッシュされる割合が大きく変わります。

難易度でルーティングする

すべてのリクエストが最大のモデルを必要とするわけではありません。安価な分類器が単純なリクエストを小モデルへ送り、難しいものだけを昇格させれば、品質を保ちつつコストを大きく削れます。すべてを大モデルへ送る場合と比べて昇格経路の品質を測ります。通常の知見は、小モデルが大半のトラフィックを許容できる品質で処理し、昇格率は低いというものです。

リトライの嵐に注意

失敗したリクエストを3回再試行するとコストは4倍で、結果は同じ失敗です。再試行に上限を設け、再試行可能なエラーとそうでないものを区別し、再試行率を記録します。突然のコスト急増はトラフィック増よりリトライループであることが多いです。

評価を通る最も安いものを買う

フロンティアが必要だと仮定する前に、自分の評価セットでより小さなモデルを走らせます。差は価格差より小さいことが多く、決定は一般印象ではなく自分のデータから来るべきです。

本文のモデル名は2026-11-10にOpenAIとAnthropicの公式ドキュメントで確認しました。