Der Voice AI Stack

Der Bau eines Sprachassistenten erfordert drei Komponenten: Speech-to-Text (STT), ein LLM für das Reasoning und Text-to-Speech (TTS).

Sprach-zu-Text-Optionen

  • Whisper (OpenAI): Hohe Genauigkeit, 99 Sprachen, Open Source.
  • Deepgram: Echtzeit-Streaming, niedrige Latenz, Konversations-KI.
  • AssemblyAI: Gut für Meeting-Transkription mit Sprecherzuordnung.
  • Google Speech-to-Text: Integriert mit GCP, gut für Android.

Text-zu-Sprache-Optionen

  • ElevenLabs: Die natürlichsten Stimmen, Stimmklonen, emotionale Bandbreite.
  • OpenAI TTS: Gute Qualität, einfache API, 6 Stimmen.
  • Google WaveNet: Viele Sprachen, angemessene Qualität.
  • Coqui TTS: Open-Source, selbsthostbar, Sprachklonen.

Architekturmuster

Einfache Pipeline

1. Audio → STT → Text aufnehmen

2. Text an das LLM senden → Antwort

3. Antwort an TTS senden → Audio abspielen

Streaming-Pipeline (niedrigere Latenz)

1. Audio-Abschnitte in Echtzeit auf STT streamen.

2. Wenn teilweise Transkripte eintreffen, wird das LLM vorgewärmt.

3. Streame LLM-Antwort-Tokens schrittweise zu TTS.

4. Spiele Audio-Abschnitte ab, sobald sie eintreffen.

Latenzoptimierung

  • Nutze Streaming in jeder Phase.
  • Stelle WebSocket-Verbindungen vorab her.
  • Verwende Edge-Funktionen für das Routing.
  • Ziel: < 1 Sekunde vom Ende der Nutzeräußerung bis zum Antwortbeginn der KI.

Werkzeuge & Frameworks

  • Vocode: Open-Source-Framework für Sprachagenten.
  • LiveKit: Echtzeit-Audio-/Video-Infrastruktur.
  • Pipecat: Das Daily-Framework für Sprach-KI-Pipelines.

Die meisten Sprachassistenten in Produktion folgen einer Pipeline: Speech-to-Text (STT) → LLM-Verarbeitung → Text-to-Speech (TTS). Die zentrale Designentscheidung ist, ob jede Stufe gestreamt oder die vollständige Antwort gepuffert wird. Streaming reduziert die wahrgenommene Latenz erheblich — Nutzer hören das erste Wort innerhalb von 500 ms, statt 3–5 Sekunden auf die vollständige Antwort zu warten.

Latenzbudget

Ein guter Sprachassistent sollte Ende-zu-Ende in 1–2 Sekunden antworten. Hier ein typisches Budget: STT fügt 200–500 ms hinzu, die First-Token-Latenz des LLM 300–800 ms, und TTS 200–400 ms. Um unter 2 Sekunden zu bleiben, nutze schnelles STT (Whisper large-v3-turbo oder Deepgram Nova-2), eine Modellstufe mit niedriger Latenz (zum Beispiel Claude Haiku 5.5 oder GPT-6 Luna) und Streaming-TTS (ElevenLabs oder PlayHT).

Häufige Fallstricke

  • Echo und Barge-in: Ohne ordentliche Echounterdrückung hört sich der Assistent selbst und gerät in eine Schleife. Nutze eine dedizierte Echounterdrückungs-Bibliothek oder eine Plattform, die das übernimmt.
  • Stille-Erkennung: Zu erkennen, wann der Nutzer aufgehört hat zu sprechen, ist schwieriger als es klingt. Voice-Activity-Detection-Modelle (VAD) wie Silero VAD funktionieren gut, brauchen aber Tuning für deine Umgebung.
  • Akzent- und Dialektverzerrung: Die meisten STT-Modelle sind bei nicht standardisierten Akzenten schwächer. Teste mit unterschiedlichen Sprecherinnen und Sprechern und erwäge Fine-Tuning, wenn deine Nutzerbasis vielfältig ist.

Latenz ist das ganze Produkt

Ein Sprachassistent wird an der Pause zwischen dem Ende deines Satzes und dem Beginn seiner Antwort gemessen. Alles über etwa einer Sekunde Stille wirkt kaputt, und dieses Budget muss Spracherkennung, Modellinferenz und den ersten Klumpen Sprachsynthese abdecken. Modellqualität zu optimieren und diese End-to-End-Zahl zu ignorieren ist der häufigste Weg, wie Sprachprojekte spät und teuer scheitern.

Die praktische Technik ist, die Stufen zu überlappen. Beginne mit der Synthese, sobald der erste Satz der Antwort existiert, streame das Erkennungsergebnis statt auf das finale Transkript zu warten, und lass den Nutzer unterbrechen. Barge-in ist kein Beiwerk; ohne es sperrt eine falsch gehörte Frage den Nutzer in einen Monolog, den er nicht stoppen kann.

Bei echtem Audio wird alles schlechter

Text-Benchmarks nutzen saubere Eingabe. Echte Eingabe hat Hintergrundgeräusche, sich überlappende Sprecher, regionale Akzente und die Akustik einer Küche. Teste mit Aufnahmen deiner echten Nutzer, in den Umgebungen, die sie tatsächlich nutzen, und miss die Wortfehlerrate pro Umgebung statt als einen Durchschnitt. Ein System, das im stillen Raum exzellent und im Auto unbrauchbar ist, ist unbrauchbar, und eine gemittelte Zahl verdeckt das vollständig.

Für das Irren entwerfen

Spracherkennung wird Namen, Zahlen und Fachbegriffe falsch hören, und der Assistent muss sich elegant erholen. Bestätige, bevor du auf etwas Irreversibles handelst, lies Identifikatoren Ziffer für Ziffer zurück, und biete immer einen Weg zur Korrektur ohne Neustart. Stille nach einer Fehlerkennung ist schlimmer als eine klärende Frage.

Die Modellnamen wurden am 2026-11-10 mit der offiziellen Dokumentation von OpenAI und Anthropic abgeglichen.