音声AIスタック
音声アシスタントには3つのコンポーネントが必要:STT、LLM、TTSです。
STTオプション
- Whisper: 99言語対応、オープンソースです。
- Deepgram: リアルタイムストリーミングです。
- AssemblyAI: 会議の文字起こしに適しており、話者ダイアライゼーションに対応しています。
- Google Speech-to-Text: GCP と統合されており、Android に適しています。
TTSオプション
- ElevenLabs: 最も自然な音声です。
- OpenAI TTS: シンプルなAPIです。
- Google WaveNet: 多言語に対応し、品質は妥当です。
- Coqui TTS: オープンソースで、セルフホスト可能、音声クローンに対応しています。
アーキテクチャパターン
シンプルパイプライン
1. 音声を録音 → STT → テキスト
2. テキストを LLM に送信 → 応答
3. 応答を TTS に送信 → 音声を再生
ストリーミングパイプライン(低遅延)
1. 音声チャンクをリアルタイムで STT にストリーミングしてください。
2. 部分的な転写が届いたら、LLM を事前に温めてください。
3. LLM の応答トークンを TTS に逐次的にストリーミングしてください。
4. 音声チャンクが届き次第再生してください。
遅延最適化
- 各ステージでストリーミングを使用してください。
- WebSocket接続を事前に確立してください。
- ルーティングにはエッジ関数を使用してください。
- 目標:ユーザー発話終了からAI応答開始まで1秒未満です。
ツールとフレームワーク
- Vocode: 音声エージェント向けのオープンソースフレームワーク。
- LiveKit: リアルタイムの音声・映像インフラ。
- Pipecat: Daily の音声 AI パイプライン向けフレームワーク。
本番音声アシスタントの多くはパイプライン:STT→LLM処理→TTSです。各ステージをストリーミングするかバッファリングかが鍵です。ストリーミングなら、3–5秒待つ代わりに500ms以内に最初の単語が聞こえます。
レイテンシ予算
優れた音声アシスタントは1–2秒で応答します。STT 200–500ms、LLM初トークン 300–800ms、TTS 200–400msです。2秒以内に収めるにはWhisper large-v3-turbo、Claude Haiku 5.5などの低遅延モデル、ストリーミングTTSを使用してください。
よくある落とし穴
- エコーと割り込み: エコーキャンセルなしではアシスタントが自分を聞いてループします。
- 無音検出: ユーザーが発話を終えたタイミングの判断は難しいです。Silero VAD等で調整してください。
- 訛りのバイアス: 非標準訛りではSTT性能が低下します。多様な話者でテストしてください。
レイテンシが製品そのもの
音声アシスタントは、話し終えてから返答が始まるまでの沈黙で評価されます。およそ1秒を超える無音は壊れて聞こえ、その予算は音声認識、モデル推論、音声合成の最初の塊をすべてカバーしなければなりません。このエンドツーエンドの数字を無視してモデル品質を最適化することが、音声プロジェクトが終盤に高く失敗する最も一般的な経路です。
実務的な手法は段階を重ねることです。応答の最初の文ができた時点で合成を始め、最終転写を待たずに認識結果をストリームし、ユーザーの割り込みを許します。バージインは飾りではなく、聞き間違えた質問がユーザーを止められない独白に閉じ込めるのを防ぎます。
実音声ではすべてが悪くなる
テキストのベンチマークはきれいな入力を使います。実入力には背景騒音、重なる話者、地域なまり、台所の音響があります。実際のユーザーの録音で、実際に使う環境でテストし、環境ごとに単語誤り率を測ります。平均1つではありません。静かな部屋で優秀で車内で使えないシステムは使えず、単一の平均はそれを完全に隠します。
間違えるための設計
音声認識は人名、数字、専門用語を聞き間違え、アシスタントは優雅に回復する必要があります。不可逆な操作の前に確認し、識別子は一桁ずつ読み返し、最初からやり直さずに訂正できる道を常に用意します。聞き間違えの後の沈黙は、確認の質問より悪いです。
本文のモデル名は2026-11-10にOpenAIとAnthropicの公式ドキュメントで確認しました。