音声AIスタック

音声アシスタントには3つのコンポーネントが必要:STT、LLM、TTSです。

STTオプション

  • Whisper: 99言語対応、オープンソースです。
  • Deepgram: リアルタイムストリーミングです。
  • AssemblyAI: 会議の文字起こしに適しており、話者ダイアライゼーションに対応しています。
  • Google Speech-to-Text: GCP と統合されており、Android に適しています。

TTSオプション

  • ElevenLabs: 最も自然な音声です。
  • OpenAI TTS: シンプルなAPIです。
  • Google WaveNet: 多言語に対応し、品質は妥当です。
  • Coqui TTS: オープンソースで、セルフホスト可能、音声クローンに対応しています。

アーキテクチャパターン

シンプルパイプライン

1. 音声を録音 → STT → テキスト

2. テキストを LLM に送信 → 応答

3. 応答を TTS に送信 → 音声を再生

ストリーミングパイプライン(低遅延)

1. 音声チャンクをリアルタイムで STT にストリーミングしてください。

2. 部分的な転写が届いたら、LLM を事前に温めてください。

3. LLM の応答トークンを TTS に逐次的にストリーミングしてください。

4. 音声チャンクが届き次第再生してください。

遅延最適化

  • 各ステージでストリーミングを使用してください。
  • WebSocket接続を事前に確立してください。
  • ルーティングにはエッジ関数を使用してください。
  • 目標:ユーザー発話終了からAI応答開始まで1秒未満です。

ツールとフレームワーク

  • Vocode: 音声エージェント向けのオープンソースフレームワーク。
  • LiveKit: リアルタイムの音声・映像インフラ。
  • Pipecat: Daily の音声 AI パイプライン向けフレームワーク。

本番音声アシスタントの多くはパイプライン:STT→LLM処理→TTSです。各ステージをストリーミングするかバッファリングかが鍵です。ストリーミングなら、3–5秒待つ代わりに500ms以内に最初の単語が聞こえます。

レイテンシ予算

優れた音声アシスタントは1–2秒で応答します。STT 200–500ms、LLM初トークン 300–800ms、TTS 200–400msです。2秒以内に収めるにはWhisper large-v3-turbo、Claude Haiku 5.5などの低遅延モデル、ストリーミングTTSを使用してください。

よくある落とし穴

  • エコーと割り込み: エコーキャンセルなしではアシスタントが自分を聞いてループします。
  • 無音検出: ユーザーが発話を終えたタイミングの判断は難しいです。Silero VAD等で調整してください。
  • 訛りのバイアス: 非標準訛りではSTT性能が低下します。多様な話者でテストしてください。

レイテンシが製品そのもの

音声アシスタントは、話し終えてから返答が始まるまでの沈黙で評価されます。およそ1秒を超える無音は壊れて聞こえ、その予算は音声認識、モデル推論、音声合成の最初の塊をすべてカバーしなければなりません。このエンドツーエンドの数字を無視してモデル品質を最適化することが、音声プロジェクトが終盤に高く失敗する最も一般的な経路です。

実務的な手法は段階を重ねることです。応答の最初の文ができた時点で合成を始め、最終転写を待たずに認識結果をストリームし、ユーザーの割り込みを許します。バージインは飾りではなく、聞き間違えた質問がユーザーを止められない独白に閉じ込めるのを防ぎます。

実音声ではすべてが悪くなる

テキストのベンチマークはきれいな入力を使います。実入力には背景騒音、重なる話者、地域なまり、台所の音響があります。実際のユーザーの録音で、実際に使う環境でテストし、環境ごとに単語誤り率を測ります。平均1つではありません。静かな部屋で優秀で車内で使えないシステムは使えず、単一の平均はそれを完全に隠します。

間違えるための設計

音声認識は人名、数字、専門用語を聞き間違え、アシスタントは優雅に回復する必要があります。不可逆な操作の前に確認し、識別子は一桁ずつ読み返し、最初からやり直さずに訂正できる道を常に用意します。聞き間違えの後の沈黙は、確認の質問より悪いです。

本文のモデル名は2026-11-10にOpenAIとAnthropicの公式ドキュメントで確認しました。