语音 AI 技术栈
构建语音助手需要三个组件:语音转文字(STT)、用于推理的 LLM 和文字转语音(TTS)。
语音转文字选项
- Whisper (OpenAI):高准确率,99 种语言,开源。
- Deepgram:实时流式,低延迟,对话 AI。
- AssemblyAI:适合会议转录,支持说话人分离。
- Google Speech-to-Text:与 GCP 集成,适合 Android。
文字转语音选项
- ElevenLabs:最自然的声音,声音克隆,情感范围。
- OpenAI TTS:质量好,API 简单,6 种声音。
- Google WaveNet:多语言,质量尚可。
- Coqui TTS:开源,可自托管,声音克隆。
架构模式
简单管道
1. 录音 → STT → 文字
2. 文字发送到 LLM → 回复
3. 回复发送到 TTS → 播放音频
流式管道(更低延迟)
1. 实时流式音频块到 STT。
2. 部分转录到达时预热 LLM。
3. 流式 LLM 回复 token 到 TTS。
4. 音频块到达时播放。
延迟优化
- 每个阶段使用流式传输。
- 提前建立 WebSocket 连接。
- 使用边缘函数进行路由。
- 目标:用户停止说话到 AI 开始回复 < 1 秒。
工具与框架
- Vocode:面向语音智能体的开源框架。
- LiveKit:实时音频/视频基础设施。
- Pipecat:Daily 的语音 AI 管道框架。
大多数生产级语音助手遵循流水线:语音转文字(STT)→ LLM 处理 → 文字转语音(TTS)。关键设计决策是每个阶段是流式还是缓冲完整响应。流式处理可大幅降低感知延迟——用户在 500ms 内听到第一个词,而不是等待 3–5 秒的完整响应。
延迟预算
好的语音助手应在 1–2 秒内端到端响应。典型预算:STT 增加 200–500ms,LLM 首 token 延迟增加 300–800ms,TTS 增加 200–400ms。要保持在 2 秒以内,使用快速 STT(Whisper large-v3-turbo 或 Deepgram Nova-2)、低延迟模型(如 Claude Haiku 5.5 或 GPT-6 Luna)和流式 TTS(ElevenLabs 或 PlayHT)。
常见坑
- 回声和打断:没有适当的回声消除,助手会听到自己并循环。使用专用回声消除库。
- 静音检测:判断用户何时停止说话比想象中难。Silero VAD 等语音活动检测模型效果好但需要针对环境调优。
- 口音和方言偏差:大多数 STT 模型在非标准口音上表现较差。用多样化说话者测试。
延迟就是整个产品
语音助手好不好,评判标准是你一句话说完到它开始回答之间的那段停顿。沉默大约超过一秒,就会被当成坏了,而这个预算必须覆盖语音识别、模型推理和语音合成的第一块输出。在优化模型质量的同时忽略这个端到端数字,是语音项目晚期大出血最常见的死法。
务实的手法是让各阶段重叠:响应第一句一出现就开始合成,识别结果用流式而不是等最终转写,并允许用户打断。打断不是锦上添花;没有它,一个听错的问题会把用户困在他停不下来的独白里。
真实音频里一切都会变差
文本基准用的是干净输入。真实输入有背景噪声、重叠说话人、地方口音,还有厨房的声学环境。用你真实用户的录音、在他们真实使用的环境里测,并按环境分别测词错率,而不是只看一个平均值。安静房间里极好、车里没法用的系统,就是没法用,而一个平均值会把这个完全藏起来。
为「听错了」而设计
语音识别一定会听错人名、数字和领域术语,助手必须优雅地恢复。任何不可逆操作前先确认,识别码逐个数字念回去核对,永远提供不用从头开始的纠正方式。听错之后的沉默,比问一句澄清更糟。
文中的模型名称已于 2026-11-10 对照 OpenAI 与 Anthropic 的官方文档核实。