Groq 高速推理 API

编辑结论

Groq 是 LLM API 里的速度商人：定制 LPU 硬件带来的 token 吞吐，让聊天机器人、语音智能体和交互式编程真正快到无感。OpenAI 兼容 API 意味着现有代码几分钟就能切过来，免费档还能让你在付费之前先体验这种延迟差异。它托管着精选且不断轮换的开源模型——Llama、Mistral 系对话模型和 Whisper 语音模型，作为托管服务无需自建基础设施。代价是选择面：只能跑这份轮换目录，最新的前沿模型未必在场；突发流量要留意限流，超大规模离线或本地部署也不是它的目标。已上线阵容以控制台为准，按 token 计费，配合随时可起步的免费档，验证速度假设的成本几乎为零。对延迟敏感、面向用户的功能，它是我们第一个会拿去测试的地方。