推論（Inference）

学習済みモデルを実行して出力を得るプロセス。学習と対になる。

関連リソース

vLLM 高性能推論フレームワーク

LLM 向けの高音スループット推論・提供フレームワーク。PagedAttention でデプロイ効率を大幅に向上。

Groq 高速推論 API

LPU ハードウェア 기반の推論サービス。オープンソース LLM に超低遅延の API アクセスを提供。