음성 AI 스택

음성 비서를 구축하려면 세 가지 요소가 필요합니다: 음성-텍스트(STT), 추론을 위한 LLM, 그리고 텍스트-음성 변환(TTS).

음성 인식 옵션

  • Whisper (OpenAI): 높은 정확도, 99개 언어, 오픈소스.
  • Deepgram: 실시간 스트리밍, 저지연, 대화 AI.
  • AssemblyAI: 회의 전사와 화자 일기 작성에 적합합니다.
  • Google 음성 변환 텍스트: GCP와 통합되어 안드로이드에 적합합니다.

텍스트 음성 변환 옵션

  • ElevenLabs: 가장 자연스러운 목소리, 음성 복제, 감정 범위.
  • OpenAI TTS: 품질이 좋고 간단한 API, 6음성.
  • Google WaveNet: 여러 언어, 괜찮은 품질.
  • Coqui TTS: 오픈소스, 자체 호스팅, 음성 복제.

건축 패턴

단순한 파이프라인

1. STT → 오디오 녹음 → 텍스트

2. LLM에 문자 보내기 → 응답

3. TTS에 응답을 보내→ 오디오 재생

스트리밍 파이프라인 (낮은 지연 시간)

1. 오디오 청크를 실시간으로 STT로 스트리밍합니다.

2. 부분 성적표가 도착하면 LLM을 예열하세요.

3. LLM 응답 토큰을 TTS로 점진적으로 스트리밍합니다.

4. 오디오 청크가 도착할 때마다 재생하세요.

지연 시간 최적화

  • 모든 단계에서 스트리밍을 사용하세요.
  • WebSocket 연결을 미리 설정해 두세요.
  • 라우팅을 위해 엣지 함수를 사용하세요.
  • 목표: 사용자가 말을 멈추고 < 1초 후 AI가 응답하기 시작합니다.

도구 및 프레임워크

  • Vocode: 음성 에이전트용 오픈 소스 프레임워크.
  • LiveKit: 실시간 오디오/비디오 인프라.
  • Pipecat: Daily의 음성 AI 파이프라인 프레임워크.

대부분의 프로덕션 음성 비서는 파이프라인을 따릅니다: 음성-텍스트(STT) → LLM 처리 → 텍스트-음성 변환(TTS). 핵심 설계 결정은 각 단계를 스트리밍할지 아니면 전체 응답을 버퍼링할지입니다. 스트리밍은 체감 지연을 크게 줄입니다 — 사용자는 3–5초 동안 전체 응답을 기다리는 대신 500ms 안에 첫 단어를 듣습니다.

지연 예산

좋은 음성 비서는 종단 간 1–2초 안에 응답해야 합니다. 일반적인 예산은 이렇습니다. STT가 200–500ms, LLM의 첫 토큰 지연이 300–800ms, TTS가 200–400ms를 더합니다. 2초 아래로 유지하려면 빠른 STT(Whisper large-v3-turbo 또는 Deepgram Nova-2), 저지연 모델 등급(예: Claude Haiku 5.5 또는 GPT-6 Luna), 스트리밍 TTS(ElevenLabs 또는 PlayHT)를 사용하세요.

흔한 함정

  • 에코와 바지인: 제대로 된 에코 제거가 없으면 비서가 자기 목소리를 듣고 루프에 빠집니다. 전용 에코 제거 라이브러리나 이를 처리하는 플랫폼을 사용하세요.
  • 무음 감지: 사용자가 말을 멈춘 시점을 아는 것은 생각보다 어렵습니다. Silero VAD 같은 음성 활동 감지(VAD) 모델은 잘 작동하지만 환경에 맞춰 조정해야 합니다.
  • 억양과 방언 편향: 대부분의 STT 모델은 비표준 억양에서 성능이 떨어집니다. 다양한 화자로 테스트하고 사용자 기반이 다양하다면 미세 조정을 고려하세요.

지연이 곧 제품이다

음성 비서는 당신의 말이 끝난 뒤 응답이 시작될 때까지의 침묵으로 평가됩니다. 약 1초를 넘는 침묵은 고장으로 읽히고, 그 예산은 음성 인식, 모델 추론, 음성 합성의 첫 덩어리를 모두 포함해야 합니다. 이 종단 숫자를 무시하고 모델 품질을 최적화하는 것이 음성 프로젝트가 후반에 비싸게 실패하는 가장 흔한 길입니다.

실무 기법은 단계를 겹치는 것입니다. 응답의 첫 문장이 생기는 즉시 합성을 시작하고, 최종 전사를 기다리지 않고 인식 결과를 스트리밍하며, 사용자의 끼어들기를 허용하세요. 바지인은 장식이 아닙니다. 없으면 잘못 들은 질문이 사용자를 멈출 수 없는 독백에 가둡니다.

실제 오디오에서는 모든 것이 나빠진다

텍스트 벤치마크는 깨끗한 입력을 씁니다. 실제 입력에는 배경 소음, 겹치는 화자, 지역 억양, 주방의 음향이 있습니다. 실제 사용자의 녹음으로, 그들이 실제로 쓰는 환경에서 시험하고, 단어 오류율을 하나의 평균이 아니라 환경별로 측정하세요. 조용한 방에서 훌륭하고 차 안에서 못 쓰는 시스템은 못 쓰는 것이고, 평균 하나가 그것을 완전히 감춥니다.

틀리는 것을 전제로 설계하기

음성 인식은 이름, 숫자, 도메인 용어를 잘못 듣고, 비서는 우아하게 회복해야 합니다. 되돌릴 수 없는 작업 전에 확인하고, 식별자는 한 자리씩 되읽고, 처음부터 다시 하지 않고 고칠 방법을 항상 제공하세요. 오인식 뒤의 침묵은 명확화 질문보다 나쁩니다.

이 글의 모델 이름은 2026-11-10에 OpenAI와 Anthropic 공식 문서와 대조해 확인했습니다.