构建 AI 语音助手：从语音识别到语音合成

语音 AI 技术栈

构建语音助手需要三个组件：语音转文字（STT）、用于推理的 LLM 和文字转语音（TTS）。

语音转文字选项

• Whisper (OpenAI)：高准确率，99 种语言，开源。
• Deepgram：实时流式，低延迟，对话 AI。
• AssemblyAI：适合会议转录，支持说话人分离。

文字转语音选项

• ElevenLabs：最自然的声音，声音克隆，情感范围。
• OpenAI TTS：质量好，API 简单，6 种声音。
• Coqui TTS：开源，可自托管，声音克隆。

架构模式

### 简单管道

1. 录音 → STT → 文字

2. 文字发送到 LLM → 回复

3. 回复发送到 TTS → 播放音频

### 流式管道（更低延迟）

1. 实时流式音频块到 STT。

2. 部分转录到达时预热 LLM。

3. 流式 LLM 回复 token 到 TTS。

延迟优化

• 每个阶段使用流式传输。
• 目标：用户停止说话到 AI 开始回复 < 1 秒。