ElevenLabs Scribe v3 한국어 지원 음성 인식 써볼 만한가: 성능과 한계 분석

회의 녹음을 STT로 돌렸더니 발표자 이름이 뒤섞이고, 한국어·영어가 섞인 문장은 반쪽만 살아남은 적 있죠? 2026년 11월, ElevenLabs가 Scribe v3와 Scribe v3 Live를 내놓으면서 STT 시장이 흔들리고 있어요. 근데 한국어 사용자에게 실제로 의미 있는 변화인지는 따로 뜯어봐야 해요.
핵심 요약
- Scribe v3는 102개 언어에서 v2 대비 단어 오류율(WER)을 27% 줄였고, 화자 분리 오류도 17% 감소했어요.
- 실시간 모델 Scribe v3 Live는 경쟁사(오류율 5.9–7.3%) 대비 화자 분리 오류율 3.1%를 기록했어요.
- 한국어+영어 코드 스위칭 환경에서
secondary_language_codes파라미터로 정확도를 높일 수 있어요.- ElevenLabs 기업가치는 2026년 현재 110억 달러(약 14조 원)로, 단순 스타트업이 아닌 엔터프라이즈급 인프라를 갖추고 있어요.
- 1시간 회의(약 9,000 단어) 기준, WER 2% 차이가 무려 180개 단어 오인식 차이를 만들어요.
Scribe v3가 나온 맥락: STT 시장은 왜 지금 뜨거운가
STT 기술은 한동안 Google Speech-to-Text와 OpenAI Whisper가 양분하다시피 했어요. Whisper는 오픈소스로 커스터마이징이 자유롭고, Google은 오랜 인프라로 안정성을 내세웠죠. 그런데 이 둘 모두 약점이 있었어요. 멀티스피커 환경과 코드 스위칭(한국어 문장 중간에 영어 단어가 튀어나오는 것)에서 정확도가 급격히 떨어지거든요.
ElevenLabs는 원래 TTS(텍스트→음성) 회사였어요. 2022년 런던에서 설립한 뒤 음성 복제·AI 더빙으로 영역을 넓혔고, 2026년 2월 기준 기업가치 110억 달러까지 성장했어요. 현재는 TTS, STT, Conversational AI를 모두 아우르는 종합 오디오 AI 플랫폼이에요.
그 ElevenLabs가 STT 시장에 진지하게 발을 들인 게 Scribe v2였고, 이번 v3는 첫 번째 대형 업그레이드예요. ElevenLabs 공식 블로그에 따르면 v3는 102개 언어 전반에서 v2 대비 WER을 27% 줄였어요. 숫자만 보면 인상적이지만, 실제 환경에서 어떤 의미인지는 더 뜯어봐야 해요.
한국 시장에서 STT 수요가 커진 배경도 있어요. 비대면 회의가 일상이 된 이후 회의록 자동 작성, 콜센터 대화 분석, 의료 상담 기록화 수요가 폭발적으로 늘었거든요. 단순히 텍스트를 뽑는 게 아니라 “누가 언제 무슨 말을 했는지"까지 정확하게 기록해야 하는 상황이에요.
성능 데이터를 뜯어보면: 어디서 얼마나 나아졌나
WER 개선: 숫자가 현장에서 의미하는 것
ElevenLabs 공식 발표 기준 성능 개선 수치는 이렇게 정리돼요.
- 배치(녹음 파일 처리) 모드 Scribe v3: v2 대비 WER 27% 감소, 3인 이상 화자 분리 오류 17% 감소
- 실시간 모드 Scribe v3 Live: v2 Realtime 대비 의미론적 WER 43% 감소, 화자 분리 오류율 3.1% (경쟁사 5.9–7.3%)
현실에서 어떤 의미냐면, 1시간 회의(약 9,000 단어)에서 WER 4%와 2%의 차이는 180개 단어 오인식 차이예요. 화자 분리 오류율 1%포인트 차이는 36초 분량의 발화가 엉뚱한 사람 이름으로 기록된다는 뜻이고요. 작아 보이지만, 콜센터 분석이나 법적 효력 있는 회의록에서는 치명적이에요.
실제 도입 사례도 있어요. 네덜란드 에너지 기업 Eneco가 고객 전화에 Scribe v3 Live를 적용했더니 우편번호 첫 번째 인식 성공률이 40% 올랐고, 도로명 번호 인식률도 15% 개선됐어요. 발음이 비슷한 고유명사나 주소처럼 맥락 의존적인 정보에서 성능 향상이 뚜렷하다는 증거예요.
한국어 코드 스위칭 대응: secondary_language_codes
한국 개발자에게 특히 눈에 띄는 기능은 secondary_language_codes 파라미터예요. 기본 언어(ko)를 설정하고 보조 언어(en)를 추가하면 코드 스위칭 상황에서 정확도를 높일 수 있어요.
한국어 비즈니스 대화를 떠올리면 바로 와 닿죠. “이번 Q3 리뷰에서 KPI 달성률이 94%였는데, 다음 스프린트 목표는 어떻게 세팅할까요?” 같은 문장이 실제로 오가거든요. v2까지는 이런 혼합 발화에서 영어 단어를 엉뚱하게 처리하거나 통째로 날려버리는 일이 잦았어요.
단, 현재 SDK에 타입 정의가 없어요. Python에서는 request_options를 통해 직접 넘겨야 하고, TypeScript는 아예 raw fetch 요청을 써야 해요. 실무 적용 전에 이 부분 확인이 필요해요.
경쟁 모델과 직접 비교
| 항목 | Scribe v3 (배치) | Scribe v3 Live (실시간) | Google Speech-to-Text v2 | OpenAI Whisper v3 |
|---|---|---|---|---|
| 화자 분리 오류율 | v2 대비 17% 감소 | 3.1% | 비공개 | 미지원 (기본) |
| 다국어 처리 | 102개 언어 | 멀티링구얼 모드 지원 | 125개+ | 99개 언어 |
| 코드 스위칭 | secondary_language_codes 지원 | mid-sentence 언어 전환 | 제한적 | 자동 감지(제한적) |
| 맥락 기반 발화 감지 | - | 침묵이 아닌 맥락으로 판단 | 침묵 기반 | 침묵 기반 |
| 도메인 용어 지원 | 최대 1,000개 key terms | 동일 | 커스텀 모델 필요 | 프롬프트로 힌트 |
| 엔터프라이즈 보안 | SOC 2, HIPAA, ISO 27001 | 동일 | SOC 2, HIPAA | Azure 통해 가능 |
| 한국어 특화 최적화 | 102개 중 포함 | 포함 | 강점 | 양호 |
Whisper는 오픈소스라 자체 서버에 올릴 수 있어 비용 구조가 달라요. Google은 Google Cloud 생태계와 묶는 경우 유리하고요. Scribe v3의 차별점은 화자 분리 정확도와 맥락 기반 발화 감지(Context-aware turn detection)예요. 여러 명이 말하는 녹음에서 “누가 한 말인지” 정확히 아는 게 핵심인 케이스라면 경쟁사보다 한 발 앞서 있어요.
실제로 쓰려는 사람에게: 시나리오별 판단 기준
콜센터·고객 상담 분석팀이라면 Scribe v3 Live가 직접적인 선택지예요. Eneco 사례처럼 주소, 고유명사 등 맥락 의존적 단어 인식률이 오르는 게 실질적 운영 비용 절감으로 이어져요. 단, EU·미국·인도·싱가포르 리전을 선택할 수 있으니 한국 고객 데이터 처리 시 데이터 거주지(Data Residency) 정책 확인은 필수예요.
회의록 자동화 개발자라면 배치 모드 Scribe v3가 맞아요. keyterms 파라미터에 사내 용어 최대 1,000개를 넣을 수 있고, 프롬프트로 출력 형식 지시도 가능해요. SDK 타입 미지원 문제는 불편하지만 우회 방법이 있으니 넘을 수 없는 벽은 아니에요.
의료·법률 분야에서 쓰려면 ElevenAgents 내 의료 대화 특화 버전 출시 일정을 주시하세요. HIPAA eligible 인증을 이미 갖췄고, Zero Retention Mode로 오디오를 서버에 보관하지 않는 옵션도 있어요. 단, “HIPAA-eligible"이 완전한 HIPAA 준수 보장은 아니니 법무 검토가 필요해요.
다음 3개월 안에 볼 신호는 세 가지예요.
- ElevenAgents 의료 대화 버전 출시 → 한국어 의료 용어 처리 정확도 공개 여부
- Python/TypeScript SDK에
secondary_language_codes타입 지원 추가 여부 - 한국어 특정 WER 벤치마크 공개 (현재 102개 언어 평균치만 있어요)
결론: 써볼 만한가, 말아야 하는가
답은 케이스에 따라 명확하게 갈려요.
- WER 27%, 화자 분리 17% 개선은 멀티스피커 환경에서 실질적 차이를 만들어요
- 코드 스위칭 지원은 한국 비즈니스 환경에 직접 대응하는 기능이에요
- 엔터프라이즈 보안 인증은 도입 장벽을 낮춰줘요
- 단, 한국어 단독 WER 벤치마크가 없어서 102개 언어 평균을 그대로 한국어 성능으로 볼 수 없어요
앞으로 6–12개월은 의료·법률 특화 버전이 나오고, 네이버 클로바노트 같은 한국 특화 솔루션과 직접 비교가 가능해질 시점이에요. 지금 당장 도입하기보다는 Free 플랜($0, 월 10,000 크레딧)이나 Starter 플랜($5)으로 실제 업무 오디오를 먼저 테스트해보세요. 그게 가장 빠른 판단 방법이에요.
여러분 오디오에서 화자 분리 오류가 얼마나 나오는지 직접 측정해본 적 있나요? 그 숫자가 나오면, 이 선택이 훨씬 선명해질 거예요.
참고자료
- Models | ElevenLabs Documentation
- ElevenLabs on X: “Introducing Scribe v3 and Scribe v3 Live: our most accurate Speech to Text models
Photo by Mahmudul Hasan on Unsplash


