推理（Inference）

运行已训练模型产生输出的过程，与训练相对。

相关资源

vLLM 高性能推理框架

面向大语言模型的高吞吐推理与服务框架，通过 PagedAttention 显著提升部署效率。

Groq 高速推理 API

基于 LPU 硬件的推理服务，为开源大模型提供极低延迟的 API 调用体验。