La pile d’IA vocale
La création d’un assistant vocal nécessite trois composantes : la reconnaissance vocale (STT), un LLM pour le raisonnement, et la synthèse vocale (TTS).
Options de reconnaissance vocale
- Whisper (OpenAI) : Haute précision, 99 langages, open source.
- Deepgram : Streaming en temps réel, faible latence, IA de conversation.
- AssemblyAI : Idéal pour la transcription de réunions avec diarisation de l’orateur.
- Google Speech-to-Text : Intégré à GCP, adapté à Android.
Options de synthèse vocale
- ElevenLabs : Voix les plus naturelles, clonage vocal, étendue émotionnelle.
- OpenAI TTS : API simple de bonne qualité, 6 voix.
- Google WaveNet : De nombreuses langues, qualité raisonnable.
- Coqui TTS : Open source, auto-hébergeable, clonage vocal.
Motifs architecturaux
Pipeline simple
1. Enregistrer l’audio → STT → texte
2. Envoyer le texte au LLM → réponse
3. Envoyer une réponse à TTS → jouer l’audio
Pipeline de streaming (latence plus faible)
1. Diffuser des morceaux audio vers STT en temps réel.
2. Au fur et à mesure que les transcriptions partielles arrivent, pré-chauffez le LLM.
3. Diffuser progressivement les tokens de réponse du LLM vers le TTS.
4. Diffusez les morceaux audio au fur et à mesure qu’ils arrivent.
Optimisation de la latence
- Utilisez le streaming à chaque étape.
- Pré-connecter les connexions WebSocket.
- Utiliser des fonctions edge pour le routage.
- Cible : moins de 1 seconde entre la fin de la parole et le début de la réponse de l’IA.
Outils et cadres
- Vocode : Cadre open source pour agents vocaux.
- LiveKit : Infrastructure audio/vidéo en temps réel.
- Pipecat : le cadre de Daily pour les pipelines d’IA vocale.
La plupart des assistants vocaux en production suivent un pipeline : reconnaissance vocale (STT) → traitement par le LLM → synthèse vocale (TTS). La décision de conception clé est de savoir si chaque étape est diffusée en streaming ou si la réponse complète est mise en mémoire tampon. Le streaming réduit considérablement la latence perçue — l’utilisateur entend le premier mot en 500 ms au lieu d’attendre la réponse complète pendant 3–5 secondes.
Budget de latence
Un bon assistant vocal doit répondre en 1 à 2 secondes de bout en bout. Voici un budget typique : le STT ajoute 200–500 ms, la latence du premier token du LLM ajoute 300–800 ms, et le TTS ajoute 200–400 ms. Pour rester sous les 2 secondes, utilisez un STT rapide (Whisper large-v3-turbo ou Deepgram Nova-2), un niveau de modèle à faible latence (par exemple Claude Haiku 5.5 ou GPT-6 Luna) et un TTS en streaming (ElevenLabs ou PlayHT).
Pièges courants
- Écho et barge-in : sans annulation d’écho correcte, l’assistant s’entend lui-même et boucle. Utilisez une bibliothèque dédiée d’annulation d’écho ou une plateforme qui s’en charge.
- Détection du silence : savoir quand l’utilisateur a fini de parler est plus difficile qu’il n’y paraît. Les modèles de détection d’activité vocale (VAD) comme Silero VAD fonctionnent bien mais demandent un réglage pour votre environnement.
- Biais d’accent et de dialecte : la plupart des modèles STT sont moins bons sur les accents non standard. Testez avec des locuteurs variés et envisagez l’ajustement fin si votre base d’utilisateurs est diverse.
La latence, c’est tout le produit
Un assistant vocal se juge sur la pause entre la fin de votre phrase et le début de sa réponse. Au-delà d’environ une seconde de silence, cela se lit comme cassé, et ce budget doit couvrir la reconnaissance vocale, l’inférence du modèle et le premier morceau de synthèse. Optimiser la qualité du modèle en ignorant ce chiffre de bout en bout est la façon la plus courante dont les projets vocaux échouent tard et cher.
La technique pratique est de faire chevaucher les étapes. Commencez à synthétiser dès que la première phrase de la réponse existe, streamez le résultat de reconnaissance au lieu d’attendre la transcription finale, et laissez l’utilisateur interrompre. L’interruption n’est pas un ornement ; sans elle, une question mal entendue enferme l’utilisateur dans un monologue qu’il ne peut pas arrêter.
Tout empire en audio réel
Les benchmarks texte utilisent des entrées propres. L’entrée réelle a du bruit de fond, des locuteurs qui se chevauchent, des accents régionaux et l’acoustique d’une cuisine. Testez avec des enregistrements de vos vrais utilisateurs, dans les environnements qu’ils utilisent réellement, et mesurez le taux d’erreur de mots par environnement plutôt qu’en une moyenne unique. Un système excellent dans une pièce calme et inutilisable en voiture est inutilisable, et un chiffre moyenné le cache complètement.
Concevoir pour se tromper
La reconnaissance vocale se trompera sur les noms, les nombres et les termes du domaine, et l’assistant doit se rétablir avec grâce. Confirmez avant d’agir sur quelque chose d’irréversible, relisez les identifiants chiffre par chiffre, et offrez toujours un moyen de corriger sans tout recommencer. Le silence après une erreur de reconnaissance est pire qu’une question de clarification.
Les noms de modèles ont été vérifiés le 2026-11-10 dans la documentation officielle d’OpenAI et Anthropic.