Mercury 2: 확산 기반 아키텍처로 GPT 계열 대비 추론 속도 5배 달성한 LLM 분석

추론 모델이 느리다는 건 이미 알려진 문제예요. OpenAI o1이 나왔을 때 사람들이 먼저 느낀 건 정확도가 아니라 “왜 이렇게 오래 걸리지?“였거든요. 그런데 2026년 2월 24일, Inception Labs가 Mercury 2를 공개하면서 이 방정식이 흔들리기 시작했어요. 기존 속도 최적화 LLM 대비 5배 빠른 추론, 그리고 그걸 가능하게 한 건 Transformer가 아닌 확산(Diffusion) 기반 아키텍처라는 점이에요. 속도와 추론 품질, 둘 다 포기하지 않겠다는 선언인 셈이에요.

이 글에서 다룰 내용은 네 가지예요.

• Mercury 2가 왜 이렇게 빠른지 (구조적 이유)
• 기존 GPT 계열 모델과 실제 수치 비교
• 이게 개발자와 기업에 어떤 의미인지
• 앞으로 6~12개월, 무엇을 지켜봐야 하는지

핵심 요약

• Mercury 2는 Inception Labs가 2026년 2월 24일 공개한 확산 기반 추론 LLM으로, 기존 속도 최적화 LLM 대비 추론 속도가 5배 빠르다고 Business Wire가 보도했어요.
• 토큰을 왼쪽에서 오른쪽으로 순차 생성하는 Transformer와 달리, 확산 모델은 전체 출력을 병렬로 정제하기 때문에 긴 응답일수록 속도 이점이 커져요.
• 추론 속도 향상과 함께 추론 비용도 대폭 낮아졌다고 Inception Labs는 밝혔으며, 이는 API 단가에 민감한 스타트업과 엣지 배포 시나리오에 직접 영향을 줘요.
• 수학, 코딩 벤치마크에서 Mercury 2는 동급 속도 모델 중 가장 높은 정확도를 기록했고, 이는 “빠르면 부정확하다"는 기존 통념을 깨는 데이터예요.
• 확산 기반 LLM은 아직 긴 문맥 처리와 지시 따르기(instruction-following) 일관성 측면에서 Transformer 대비 약점이 있어, 범용 교체보다는 특화 워크플로우에 먼저 적합해요.

1. 배경: 추론 속도가 왜 병목이 됐나

2025년은 추론 모델의 해였어요. OpenAI o3, Google Gemini 2.0 Flash Thinking, DeepSeek R1까지, 복잡한 문제를 단계별로 풀어내는 Chain-of-Thought 추론이 업계 표준처럼 자리잡았죠.

그런데 이 모델들에는 공통 병목이 있어요. 토큰을 한 번에 하나씩 순차 생성한다는 구조적 한계예요. 추론 과정이 길어질수록 응답 시간도 선형으로 늘어나요. o1 기준으로 복잡한 수학 문제 하나에 30~60초가 걸리는 건 드문 일이 아니에요.

실시간 코파일럿, 고객 응대 에이전트, 실시간 코드 리뷰—이런 워크플로우에 30초 지연은 사실상 쓸 수 없다는 뜻이에요.

Inception Labs는 이 문제를 아키텍처 레벨에서 풀었어요. 이미지 생성 분야에서 검증된 확산 모델 원리를 텍스트 생성에 적용한 거예요. Mercury 1을 2025년에 먼저 공개해 개념을 증명했고, Mercury 2에서 추론(reasoning) 능력까지 얹었어요.

타이밍도 중요해요. 2026년 현재 LLM API 비용 경쟁이 치열하죠. Groq의 하드웨어 가속, Cerebras의 웨이퍼 칩, Fireworks AI의 양자화 서빙—속도를 높이려는 시도는 많았지만, 대부분 서빙 인프라 레이어의 최적화였어요. Mercury 2는 모델 아키텍처 자체를 바꾼다는 점에서 결이 달라요.

2. 확산 기반 LLM: 어떻게 더 빠른가

핵심 원리: 병렬 정제 vs. 순차 생성

Transformer 기반 모델이 텍스트를 생성하는 방식은 이래요. “The"를 먼저 예측하고, 그다음에 “quick"을 예측하고, 그다음에 “brown”—이렇게 토큰 하나씩 순서대로 뽑아요. 100개 토큰짜리 답변을 내려면 100번의 순차 연산이 필요한 구조예요.

확산 모델은 달라요. 노이즈로 가득 찬 초기 상태에서 출발해서, 전체 출력을 여러 번의 정제 단계(denoising step)를 통해 동시에 다듬어 나가요. 이미지 생성에서 Stable Diffusion이 픽셀 전체를 점진적으로 선명하게 만드는 방식과 같은 원리예요.

텍스트 확산 모델의 핵심 도전은 *이산적(discrete)*이라는 점이에요. 픽셀과 달리 텍스트 토큰은 연속적이지 않아서, 기존 확산 수식을 그대로 쓸 수 없어요. Inception Labs가 Mercury 시리즈에서 해결한 게 바로 이 부분이에요. Masked Diffusion Language Model(MDLM) 계열의 접근법으로 이산 토큰 공간에서 확산 과정을 안정적으로 학습시켰어요.

속도 이점이 가장 큰 시나리오

짧은 응답(30토큰 이하)에서는 Transformer와 속도 차이가 크지 않아요. 확산 모델의 이점이 두드러지는 건 긴 추론 체인이에요.

예를 들어, 복잡한 알고리즘 문제를 설명하는 500토큰짜리 응답을 생성한다고 할게요. Transformer는 500번 순차 연산을 해야 하지만, 확산 모델은 고정된 수의 정제 단계로 전체를 커버해요. 출력 길이가 늘어도 단계 수가 비례해서 늘지 않아요. 이게 5배 속도 격차의 근거예요.

추론 비용 구조 변화

Business Wire에 따르면, Mercury 2는 속도 향상과 함께 추론 비용도 “극적으로” 낮췄다고 해요. 구체적인 달러/토큰 단가는 공개 API 기준이 나와야 검증 가능하지만, 구조적으로는 납득이 가요.

Transformer의 추론 비용은 KV Cache 메모리 사용량과 순차 연산 횟수에 비례해요. 확산 모델은 이 두 병목이 다르게 작동하기 때문에, 특히 배치 처리 시 GPU 효율이 높아질 수 있어요.

3. Mercury 2 vs. GPT 계열: 수치 비교

벤치마크 성능

Inception Labs가 공개한 내부 벤치마크 기준으로, Mercury 2는 수학(MATH-500)과 코딩(HumanEval, LiveCodeBench) 벤치마크에서 동급 속도 모델 중 최고 수준을 기록했어요. “동급 속도"라는 조건이 핵심이에요—절대 정확도 1위가 아니라, 속도 대비 정확도의 균형에서 앞선다는 뜻이에요.

주요 모델 비교표

속도 수치는 Inception Labs 발표(2026.02.24) 기준. 외부 독립 벤치마크 검증 진행 중.

트레이드오프 분석

Mercury 2가 속도에서 앞서지만, 범용 교체제로 보기엔 이른 면이 있어요.

Transformer 기반 모델들은 수년간 RLHF, instruction-tuning으로 다듬어져서 복잡한 지시를 따르는 능력이 높아요. 확산 기반 모델은 이 부분에서 아직 따라잡는 중이에요. 특히 멀티턴 대화에서 이전 맥락을 일관되게 유지하는 게 구조적으로 더 어렵고, 128k 이상 긴 문맥 윈도우도 현재 Mercury 2에선 지원이 제한돼요.

반면 코드 자동완성, 단일 턴 수학 풀이, 구조화된 데이터 추출처럼 입출력이 명확하고 응답이 중간 길이인 태스크에서는 Mercury 2의 속도 이점이 실용적으로 유의미해요.

4. 실용적 시사점

누가 먼저 주목해야 하나

개발자·엔지니어: 실시간 코드 제안 도구(코파일럿류)나 에이전트 파이프라인을 만드는 분들이라면 바로 주목할 만해요. LLM 응답 대기가 UX 병목인 시나리오에서, 같은 정확도를 5배 빠르게 얻을 수 있다면 아키텍처 선택지가 달라지거든요.

스타트업·API 비용 민감한 팀: 추론 비용이 낮아진다면, 토큰당 요금이 내려갈 여지가 있어요. 특히 사용량이 많은 B2C 서비스에서 비용 구조가 바뀔 수 있어요.

엔터프라이즈: 지금 당장 GPT-4o를 교체하기보다, 워크플로우를 분리해서 보는 게 맞아요. 복잡한 멀티턴 에이전트는 Transformer 계열, 고빈도 단일 추론 태스크는 Mercury 2—이렇게 병렬로 쓰는 방식이 현실적이에요.

단기 행동 (1~3개월)

• Mercury 2 API가 공개되면 현재 워크플로우 중 단일 턴, 중간 길이 응답 태스크를 골라서 A/B 테스트 진행
• 자체 벤치마크 구성: 회사 데이터셋 기준 속도·정확도·비용 세 축으로 직접 측정해보기
• 확산 기반 LLM 논문 트래킹 시작 (MDLM, SEDD 계열)

중장기 전략 (6~12개월)

확산 모델의 instruction-following 성능이 올라오면 교체 범위가 넓어질 거예요. 그때를 대비해 모델 추상화 레이어(LiteLLM, LangChain 등)를 미리 도입해 두면 전환 비용이 낮아져요. 엣지 배포 가능성도 열려 있어요. 확산 모델의 병렬 정제는 NPU 친화적이어서, 온디바이스 추론 시나리오에서 Transformer보다 유리할 수 있어요.

5. 결론: 속도 경쟁의 축이 바뀌고 있어요

정리하면 이렇게 돼요.

• Mercury 2는 확산 기반 아키텍처로 기존 속도 최적화 LLM 대비 5배 빠른 추론을 달성했어요.
• 이 속도 이점은 긴 추론 체인일수록 커지고, 비용 구조도 개선돼요.
• 단, 긴 문맥 처리와 복잡한 지시 따르기에서는 아직 Transformer 계열이 앞서요.
• 실용적 포지션은 “GPT 대체"보다 “고빈도 추론 태스크 전문 모델"이에요.

앞으로 6개월 안에 두 가지를 지켜봐야 해요. 첫째, 독립 연구기관의 외부 벤치마크—Inception Labs 자체 수치가 실제 사용 환경에서도 재현되는지. 둘째, Transformer 진영의 반응—Google, OpenAI가 확산 기반 접근을 흡수하거나 자체 해법을 내놓을 가능성이에요.

LLM 속도 경쟁은 이제 서빙 인프라가 아닌 아키텍처 레이어로 이동하고 있어요. Mercury 2가 그 신호탄이에요. 여러분 스택에서 추론 속도가 병목인 지점이 어디인지, 지금 한 번 살펴볼 때예요.

이 글의 Mercury 2 관련 수치는 Inception Labs가 Business Wire를 통해 2026년 2월 24일 발표한 공식 보도자료를 기반으로 작성됐어요. 외부 독립 벤치마크가 공개되면 업데이트할 예정이에요.

관련 글

• AI가 코드 짜면 누가 검증하나: 실무 개발자 딜레마와 ADR 활용법
• GPT-5.3 출시, API 어떻게 달라졌나: 개발자 실전 정리
• Ars Technica 기자, AI 가짜 인용문 삽입으로 해고…AI 저널리즘 신뢰 흔들
• Claude AI 오류 급증, OpenAI 이탈 사용자 몰림으로 웹 접속 장애 발생
• 메타 AI 스마트글라스, 직장 내 개인정보 침해와 직원 모니터링 우려

참고자료

1. Inception Launches Mercury 2, the Fastest Reasoning LLM — 5x Faster Than Leading Speed-Optimized LLM
2. Inception Launches Mercury 2, the Fastest Reasoning LLM — 5x Faster Than Leading Speed-Optimized LLM
3. Inception Launches Mercury 2, the Fastest Reasoning LLM — 5x Faster Than Leading Speed-Optimized LLM

Photo by Thorium on Unsplash