推論（Inference）

学習済みモデルを実行して出力を得るプロセス。学習と対になる。

推論速度は通常トークン/秒で測り、レイテンシはチャット体験に重要。vLLM のようなサービングエンジンや Groq のようなハードが推論スループットとコストを最適化する。

関連リソース

vLLM 高性能推論フレームワーク

vLLM は大規模言語モデル向けの高通率推論・サービングエンジンで、PagedAttention によりメモリ効率とスループットを劇的に向上させる。連続バッチング、テンソル並列、OpenAI 互換 API サービングに対応し、大規模 LLM デプロイの第一選択となっている。

Groq 高速推論 API

Groq は独自 LPU ハードウェアにより超高速 LLM 推論を実現し、人気オープンソースモデルを極めて低い遅延で API アクセスできる。チャットボットやコードアシスタントなど速度が重要なリアルタイムアプリに最適で、トークン使用量に基づく課金体系。