500ms 이하 AI 음성 에이전트 직접 구축 방법: STT·LLM·TTS 구성 가이드
AI가 전화를 받는 시대가 왔어요. 근데 문제가 있어요. 대화가 어색하게 끊겨요.
1.2초 이상 응답이 늦어지면 사용자가 전화를 끊어요. 이건 추측이 아니라 Introl Blog의 Voice AI Infrastructure 리포트가 실측한 데이터예요. 인간 대화는 300–500ms 안에 응답이 오길 기대하는데, 현재 대부분의 AI 음성 파이프라인은 800ms에서 2초 사이를 기록하고 있어요. 왜 이 숫자가 이렇게 나오는지부터 봐야 해요.
핵심 요약
- STT(150ms) + LLM(200–700ms) + TTS(40–150ms) + 네트워크(150ms) = 총 540ms–1,150ms. 컴포넌트 하나만 잘못 골라도 목표치를 넘어요.
- Groq로 서빙한 Llama는 약 200ms로 LLM 중 가장 빠르고, GPT-4o는 700ms로 네 배 느려요.
- TTS는 Cartesia Sonic(40–95ms)이 가장 빠르고, ElevenLabs Flash v2.5(75ms)가 품질 면에서 뒤를 이어요.
- 관리형 플랫폼은 분당 $0.10–0.20인 반면, 자체 구축 시 분당 $0.05–0.10으로 절반 수준이에요.
- 스트리밍 생성 + 선제적 응답 예측(speculative execution)을 같이 쓰면 체감 지연을 300ms 이하로 줄이는 게 현실적으로 가능해요.
이 문제가 지금 중요한 이유
AI 음성 에이전트는 고객센터, 의료 예약, 금융 상담에서 실제로 배포되고 있어요. 근데 대부분의 팀이 비슷한 벽에 부딪혀요.
개별 컴포넌트 성능은 좋아요. Deepgram Nova-3의 STT는 150ms, ElevenLabs Flash v2.5의 TTS는 75ms예요. 근사한 숫자죠. 그런데 이걸 순서대로 이어 붙이면 어떻게 될까요?
200ms (STT) + 500ms (LLM) + 150ms (TTS) + 150ms (네트워크) = ~1,000ms
더하면 1초예요. 딱 사용자가 어색함을 느끼기 시작하는 지점이에요. Introl Blog 리포트에 따르면 이 “컴파운딩 스택 레이턴시"가 현재 AI 음성 개발의 핵심 병목이에요. 각 단계를 최적화하지 않으면, 뛰어난 컴포넌트를 골라도 결과는 실망스러워요.
그래서 500ms 이하 구축은 컴포넌트 선택 + 아키텍처 설계, 두 가지를 함께 봐야 해요.
컴포넌트별 실측 성능 비교
STT: 속도 vs. 정확도
STT는 사용자가 말을 마치는 순간부터 텍스트가 나올 때까지의 시간이에요.
Introl Blog 벤치마크에 따르면:
- Deepgram Nova-3: 150ms, 분당 $0.0043. 속도 최우선이면 여기예요.
- AssemblyAI Universal-2: WER(단어 오류율) 14.5%로 정확도 1위. 대신 300–600ms로 느려요.
빠른 응답이 목표라면 Deepgram이 맞아요. 의료나 법률처럼 단어 하나가 중요한 도메인이라면 AssemblyAI가 낫고요.
LLM: 속도 차이가 세 배
LLM 선택이 전체 파이프라인 레이턴시를 가장 크게 좌우해요. 수치를 보면 체감이 달라요.
| 모델 | 응답 지연 | 특징 |
|---|---|---|
| Groq + Llama | ~200ms | 현재 가장 빠름 |
| Gemini Flash 1.5 | ~300ms | 속도/성능 균형 |
| GPT-4o-mini | ~400ms | 비용 효율 좋음 |
| GPT-4o | ~700ms | 가장 강력하지만 느림 |
Groq로 서빙한 Llama와 GPT-4o의 차이가 500ms예요. LLM 하나 바꾸는 것만으로 목표치 달성 여부가 갈리는 셈이에요.
TTS: 40ms도 가능해요
TTS는 텍스트를 음성으로 변환하는 마지막 단계예요. 이미 40ms짜리 솔루션이 있어요.
- Cartesia Sonic: 40–95ms, 1,000자당 $0.038. 속도 기준 1위예요.
- ElevenLabs Flash v2.5: 75ms, 1,000자당 $0.050. 음성 품질 기준으로는 여전히 업계 상단이에요.
- Deepgram Aura-2: 150ms 이하, 1,000자당 $0.030. 가격 대비 실용적이에요.
아키텍처 설계: 캐스케이딩 vs. 스피치-투-스피치
두 가지 방식 비교
캐스케이딩 파이프라인 (ASR → LLM → TTS)
- 장점: 컴포넌트 교체가 자유로워요. 각 레이어를 독립적으로 교체하거나 스케일 조정할 수 있어요.
- 단점: 분당 약 $0.15, 레이턴시가 쌓여요.
- 적합한 경우: 맞춤 파이프라인이 필요하거나 특정 LLM 기능이 꼭 필요한 팀.
스피치-투-스피치 모델
- 장점: 음성 억양과 감정 뉘앙스가 그대로 보존돼요. 파이프라인이 단순해요.
- 단점: 분당 $0.30–1.50으로 비싸요. 짧은 대화에서는 효율이 낮아요.
- 적합한 경우: 음성 감정이 중요한 감성 케어, 프리미엄 고객 응대.
두 방식의 비용 차이가 최대 열 배예요. 규모가 커질수록 이 차이가 선택을 결정해요.
레이턴시를 줄이는 세 가지 기법
아키텍처 기법이 컴포넌트 선택만큼 중요해요.
- 스트리밍 생성: LLM이 응답을 다 생성하기 전에 TTS가 먼저 읽기 시작해요. 전체 대기 시간을 200ms 이상 줄여요.
- Speculative Execution: 사용자가 말을 마치기 전에 LLM이 응답을 미리 예측해요. 잘 맞으면 체감 지연이 거의 0에 가까워요.
- 음성 캐싱: “안녕하세요”, “잠깐만요” 같이 자주 쓰는 문구는 미리 TTS로 변환해둬요. TTS 처리 시간 자체가 없어지는 셈이에요.
참고로 Anthropic의 프롬프트 캐싱은 캐시된 prefix에 대해 비용을 약 90% 줄여줘요. 시스템 프롬프트가 긴 대화형 에이전트라면 꽤 크게 작용해요.
실제 구축 시 고려할 것들
팀별로 다른 출발점
개발 팀이 있는 경우: 캐스케이딩 파이프라인 직접 구축을 권장해요. Deepgram + Groq/Gemini + Cartesia 조합이면 이론상 500ms 이하 달성이 가능해요. A100 GPU 한 장이 ASR 동시 스트림 100개, LLM 동시 요청 75–100개를 처리해요.
빠른 배포가 우선인 경우: ElevenLabs의 Conversational AI 스위트나 Voiceflow 같은 관리형 플랫폼이 대안이에요. Fish Audio 플랫폼 비교 리포트에 따르면 Lindy AI는 코드 없이 며칠 안에 배포 가능해요. 대신 세밀한 커스터마이징은 어려워요.
자체 구축 비용: 관리형 플랫폼은 분당 $0.10–0.20인데, 스케일에서 자체 구축하면 분당 $0.05–0.10까지 낮출 수 있어요. 하루 1만 분 통화라면 한 달에 $1,500–$3,000 차이가 나요.
단기 액션 (1–3개월)
- STT는 Deepgram Nova-3, LLM은 Groq + Llama로 먼저 프로토타입 구성하기
- 스트리밍 생성 파이프라인 구현해서 체감 레이턴시 측정하기
- 자주 쓰는 문구 20–30개 미리 TTS 캐싱해두기
중장기 전략 (6–12개월)
- 쿼리 복잡도별로 LLM 라우팅 구성하기 (단순 질문 → Groq, 복잡한 추론 → GPT-4o)
- 트래픽에 따라 STT, LLM, TTS를 독립적으로 스케일하는 마이크로서비스 구조로 전환하기
숫자를 알면 길이 보여요
- STT + LLM + TTS + 네트워크의 합산이 전부예요. 하나라도 방심하면 1초를 넘어요.
- 가장 빠른 조합: Deepgram Nova-3 + Groq/Llama + Cartesia Sonic + 스트리밍 생성.
- 비용과 속도는 트레이드오프예요. 관리형이냐 자체 구축이냐는 규모가 결정해요.
- Speculative Execution과 음성 캐싱은 하드웨어 비용 없이 레이턴시를 줄이는 가장 현실적인 방법이에요.
그리고 향후 6–12개월 안에 음성-텍스트-음성 통합 모델이 더 저렴해지면 캐스케이딩 파이프라인의 이점이 줄어들 수 있어요. 지금은 캐스케이딩이 속도와 비용 모두에서 앞서지만, 스피치-투-스피치 모델 비용이 절반 이하로 떨어지는 시점이 진짜 분기점이 될 거예요.
지금 팀에 적용해본다면 어디서 병목이 생길 것 같으세요?
Photo by Zulfugar Karimov on Unsplash
