La pila de IA de voz

Construir un asistente de voz requiere tres componentes: Reconocimiento de voz (STT), un LLM para razonamiento y Texto a Voz (TTS).

Opciones de conversión de voz a texto

  • Whisper (OpenAI): Alta precisión, 99 lenguajes, código abierto.
  • Deepgram: Streaming en tiempo real, baja latencia, IA de conversación.
  • AssemblyAI: Bueno para transcripción de reuniones con diarización de oradores.
  • Google Speech-to-Text: Integrado con GCP, bueno para Android.

Opciones de texto a voz

  • ElevenLabs: Voces más naturales, clonación vocal, rango emocional.
  • OpenAI TTS: API sencilla y de buena calidad, 6 voces.
  • Google WaveNet: Muchos idiomas, calidad razonable.
  • Coqui TTS: Código abierto, autoalojamiento, clonación de voz.

Patrones arquitectónicos

Pipeline sencillo

1. Grabar audio → STT → texto

2. Enviar un mensaje de texto al LLM → respuesta

3. Enviar respuesta a TTS → reproducir audio

Pipeline de streaming (Menor latencia)

1. Transmitir fragmentos de audio a STT en tiempo real.

2. Cuando lleguen transcripciones parciales, calienta previamente el LLM.

3. Transmitir tokens de respuesta LLM a TTS de forma incremental.

4. Reproduce fragmentos de audio a medida que lleguen.

Optimización de latencia

  • Utiliza el streaming en cada etapa.
  • Preconectar conexiones WebSocket.
  • Usa funciones edge para el enrutamiento.
  • Objetivo: < 1 segundo desde que el usuario deja de hablar hasta que la IA empieza a responder.

Herramientas y Marcos

  • Vocode: Framework de código abierto para agentes de voz.
  • LiveKit: Infraestructura de audio/vídeo en tiempo real.
  • Pipecat: El marco de Daily para pipelines de IA de voz.

La mayoría de los asistentes de voz en producción siguen un pipeline: Reconocimiento de voz (STT) → procesamiento del LLM → Texto a Voz (TTS). La decisión de diseño clave es si hacer streaming en cada etapa o almacenar en búfer la respuesta completa. El streaming reduce drásticamente la latencia percibida — el usuario escucha la primera palabra en 500 ms en lugar de esperar 3–5 segundos por la respuesta completa.

Presupuesto de latencia

Un buen asistente de voz debería responder en 1–2 segundos de extremo a extremo. Este es un presupuesto típico: el STT añade 200–500 ms, la latencia del primer token del LLM añade 300–800 ms, y el TTS añade 200–400 ms. Para mantenerte por debajo de 2 segundos, usa un STT rápido (Whisper large-v3-turbo o Deepgram Nova-2), un nivel de modelo de baja latencia (por ejemplo Claude Haiku 5.5 o GPT-6 Luna) y un TTS en streaming (ElevenLabs o PlayHT).

Errores comunes

  • Eco y barge-in: sin una cancelación de eco adecuada, el asistente se escucha a sí mismo y entra en bucle. Usa una biblioteca dedicada de cancelación de eco o una plataforma que lo gestione.
  • Detección de silencio: saber cuándo el usuario dejó de hablar es más difícil de lo que parece. Los modelos de detección de actividad de voz (VAD) como Silero VAD funcionan bien pero necesitan ajuste para tu entorno.
  • Sesgo de acento y dialecto: la mayoría de los modelos STT rinden peor con acentos no estándar. Prueba con hablantes diversos y considera el ajuste fino si tu base de usuarios es diversa.

La latencia es todo el producto

Un asistente de voz se juzga por la pausa entre el final de tu frase y el comienzo de su respuesta. Cualquier cosa por encima de aproximadamente un segundo de silencio se lee como roto, y ese presupuesto debe cubrir reconocimiento de voz, inferencia del modelo y el primer trozo de síntesis. Optimizar la calidad del modelo ignorando este número de extremo a extremo es la forma más común de que los proyectos de voz fracasen tarde y caro.

La técnica práctica es solapar las etapas. Empieza a sintetizar en cuanto exista la primera frase de la respuesta, transmite el resultado del reconocimiento en lugar de esperar la transcripción final, y deja que el usuario interrumpa. El barge-in no es un adorno; sin él, una pregunta mal oída atrapa al usuario en un monólogo que no puede detener.

Todo empeora con audio real

Los benchmarks de texto usan entrada limpia. La entrada real tiene ruido de fondo, hablantes solapados, acentos regionales y la acústica de una cocina. Prueba con grabaciones de tus usuarios reales, en los entornos que realmente usan, y mide la tasa de error por entorno en lugar de como una media única. Un sistema excelente en una habitación silenciosa e inutilizable en un coche es inutilizable, y un número promediado lo oculta por completo.

Diseñar para equivocarse

El reconocimiento de voz fallará con nombres, números y términos del dominio, y el asistente debe recuperarse con elegancia. Confirma antes de actuar sobre algo irreversible, lee los identificadores dígito a dígito, y ofrece siempre una forma de corregir sin empezar de nuevo. El silencio tras un error de reconocimiento es peor que una pregunta aclaratoria.

Los nombres de modelos se verificaron el 2026-11-10 en la documentación oficial de OpenAI y Anthropic.