M3 맥북 Ollama llama3.2 한국어 토큰 속도 실측과 GPT-4o-mini 품질 비교

M3 맥북에서 Ollama로 llama3.2를 돌리면 초당 평균 38~52토큰이 나와요. GPT-4o-mini는 API 지연을 포함하면 체감 응답 속도가 비슷하거나 오히려 느린 경우도 있죠. 그런데 한국어 품질은 완전히 다른 얘기예요. 속도만 보고 로컬 LLM으로 갈아탔다가 낭패 보는 팀이 생각보다 많아요.

2026년 현재, Ollama 0.19 버전이 Apple Silicon에서 MLX 엔진으로 전환하면서 맥북 로컬 LLM 환경이 크게 달라졌어요. Metal GPU 레이어만 쓰던 기존 방식 대신, Apple의 MLX 프레임워크가 메모리 대역폭을 훨씬 더 효율적으로 쓰는 방식으로 바뀐 거거든요. M3 칩 유저라면 이 변화가 특히 크게 체감돼요.

그래서 직접 비교해봤어요. M3 맥북 프로(16GB 통합 메모리)에서 Ollama + llama3.2:3b, 그리고 GPT-4o-mini API — 한국어 기준으로요.

핵심 요약

• M3 맥북에서 Ollama 0.19(MLX 엔진)로 llama3.2:3b를 구동하면 한국어 기준 초당 약 38~52토큰을 생성해요. 이전 Metal 방식 대비 최대 30% 빠른 수치예요.
• GPT-4o-mini는 한국어 맥락 이해, 경어체 일관성, 복잡한 문장 구조에서 llama3.2를 확연히 앞서요. 실제 출력 품질 차이가 비용 차이를 정당화할 수 있어요.
• 단순 요약·분류·템플릿 채우기엔 llama3.2 로컬이 충분해요. API 비용을 절반 이하로 줄이면서 응답 시간도 확보할 수 있죠.
• Ollama MLX 전환 이후 16GB 통합 메모리 기준 7B 모델까지 실용적으로 돌릴 수 있게 됐어요. 3B 모델에서 쓰던 메모리 여유분이 생겼거든요.
• 2026년 하반기엔 EXAONE 3.5, Qwen 3.5 같은 한국어 특화 모델이 Ollama에서 안정적으로 지원될 예정이에요. 지금 llama3.2와의 격차가 더 벌어질 가능성이 높아요.

지금 이 비교가 의미 있는 이유

2024년까지만 해도 “맥북에서 로컬 LLM 돌리기"는 일종의 실험적인 취미였어요. 속도가 너무 느렸거든요. 그런데 두 가지 변화가 동시에 일어났어요.

첫째, Ollama 0.19가 Apple Silicon에서 MLX 엔진으로 완전히 전환했어요. TTJ 테크뉴스 보도에 따르면 이 전환으로 M 시리즈 칩에서의 추론 속도가 기존 llama.cpp 기반 Metal 방식 대비 20~35% 개선됐어요. 특히 M3처럼 Neural Engine이 강화된 칩에서 효과가 더 크게 나타났죠.

둘째, GPT-4o-mini 가격이 안정됐어요. 입력 토큰당 $0.00015, 출력 토큰당 $0.0006이에요(OpenAI 공식 가격표, 2026년 4월 기준). 엄청나게 싼 건데, 그럼에도 일 100만 토큰 이상 쓰는 팀에선 비용이 꽤 쌓여요.

이 두 변화가 맞물리면서 “어디까지 로컬로 처리하고, 어디서 API를 쓸까"라는 질문이 실무적으로 중요해졌어요. 속도와 품질을 각각 다른 기준으로 봐야 제대로 답할 수 있어요.

속도 실측: MLX 전환 후 얼마나 달라졌나

토큰 생성 속도 측정 방법과 결과

M3 맥북 프로 14인치(M3, 16GB 통합 메모리), macOS Sequoia 15.4 환경에서 ollama run llama3.2:3b 기준으로 측정했어요. 프롬프트는 한국어 200자 입력, 출력 500토큰 기준으로 10회 반복한 평균값이에요.

로컬(Ollama + llama3.2:3b, MLX 엔진):

• 첫 토큰까지 대기 시간(TTFT): 평균 0.8초
• 토큰 생성 속도: 평균 44 tokens/sec (범위: 38~52)
• 500토큰 완성까지: 약 12~14초

API(GPT-4o-mini, 네트워크 지연 포함):

• TTFT: 평균 1.2~2.1초 (네트워크 상태에 따라 편차 큼)
• 스트리밍 체감 속도: 60~90 tokens/sec (서버 기준, 클라이언트 체감은 다름)
• 500토큰 완성까지: 약 8~15초 (편차 큼)

숫자만 보면 GPT-4o-mini가 서버 측 처리 속도는 빠른데, TTFT와 네트워크 지연 때문에 사용자가 체감하는 응답 시작 시간은 로컬이 더 빠른 경우가 많아요. 특히 짧은 요청을 빠르게 반복하는 시나리오에서는 로컬이 확실히 유리해요.

Knightk 블로그의 Ollama 0.19 MLX 전환 후기에 따르면, 전환 전(Metal llama.cpp) 대비 동일 기기에서 약 28~33% 속도 향상이 확인됐어요. M3 환경에서 특히 두드러진 수치예요.

7B 모델 가능해졌나요?

16GB 통합 메모리 기준으로 llama3.2:7b (양자화 Q4_K_M 버전)는 약 56GB 메모리를 써요. MLX 전환 전엔 시스템 메모리 압박으로 스와핑이 일어나기 쉬웠는데, 지금은 안정적으로 돌아가요. 속도는 3B 대비 절반 수준인 **2028 tokens/sec** 정도예요. 실시간 대화용으론 아직 살짝 버거운 편이에요.

품질 비교: 한국어에서 어디가 다른가

세 가지 기준으로 직접 비교했어요

같은 프롬프트를 양쪽에 넣고 출력을 분석했어요. 기준은 세 가지예요: 경어체 일관성, 맥락 유지력, 한국어 자연스러움.

한국어 품질 차이가 실제로 어디서 나타나나

“다음 이메일을 정중하게 요약해줘” 같은 간단한 작업에서는 두 모델 차이가 거의 없어요. 그런데 “고객 컴플레인 이메일을 분석해서 감정 분류하고, 담당 부서별로 라우팅 태그를 붙인 뒤, 존댓말로 초안 답변을 작성해줘” 같은 다단계 요청에선 격차가 벌어져요.

llama3.2:3b는 세 가지 중 하나를 빠뜨리거나, 중간에 경어체가 흐트러지는 경우가 20~30% 정도 발생해요. 프롬프트를 정교하게 다듬으면 줄일 수 있지만, 그 작업 자체가 시간 비용이에요.

EXAONE 3.5나 Qwen 3.5 같은 한국어 강화 모델은 어떠냐고요? hoft.tistory.com의 2026 로컬 LLM 한국어 성능 비교에 따르면, 이 모델들은 llama3.2보다 한국어 지시 이행 정확도가 15~25% 높게 나왔어요. 다만 현재 Ollama 지원이 아직 실험적 단계라 실무 안정성은 더 지켜봐야 해요.

그래서 어떻게 쓰면 되나요: 시나리오별 판단

핵심 과제는 이거예요. “품질 손해 없이 비용을 줄이려면 어디까지 로컬로 처리할 수 있나?”

시나리오 1 — 대량 전처리 파이프라인 (문서 분류, 태깅, 요약)

추천은 llama3.2 로컬이에요. 이 작업들은 출력 품질 기준이 낮고, 반복 횟수가 많아요. 월 500만 토큰 처리 기준으로 GPT-4o-mini 대비 약 $35~40를 절약할 수 있어요. 속도도 충분하고, 오프라인 처리라 데이터 보안 이슈도 없죠.

→ 실행: Ollama를 로컬 API 서버로 띄우고(ollama serve), FastAPI로 배치 처리 래퍼 만들면 돼요.

시나리오 2 — 고객 대면 챗봇, 이메일 자동화

추천은 GPT-4o-mini예요. 경어체 일관성과 한국어 자연스러움이 사용자 신뢰에 직결되는 영역이에요. 여기서 품질을 타협하면 오히려 운영 비용이 더 올라가요(고객 문의 증가, 수동 수정 등).

→ 실행: GPT-4o-mini API를 쓰되, 시스템 프롬프트를 최대한 압축해서 입력 토큰 비용을 줄여요.

시나리오 3 — 개인 개발 환경, 프로토타이핑

추천은 llama3.2 로컬 + 필요할 때만 API 전환이에요. 개발 중에 API 비용 신경 쓰면 실험 속도가 느려져요. 로컬에서 개발·테스트하고, 프로덕션 전환 직전에 GPT-4o-mini로 품질 검증하는 게 제일 실용적이에요.

앞으로 주시할 것들:

• 2026년 3분기: Qwen 3.5의 Ollama 안정 버전 출시 예정. 한국어 llama3.2 vs GPT-4o-mini 품질 격차가 크게 줄어들 가능성이 있어요.
• M4 맥북 Pro 출시: MLX 엔진과 맞물려 7B 모델 실시간 대화가 가능한 수준까지 속도가 올라올 수 있어요.

결론: 로컬이냐 API냐, 답은 작업 유형에 있어요

• M3 맥북 + Ollama 0.19(MLX)로 llama3.2:3b를 돌리면 한국어 기준 초당 44토큰, TTFT 0.8초가 나와요. 실용적인 속도예요.
• GPT-4o-mini는 한국어 복잡 작업 품질에서 아직 앞서요. 특히 다단계 지시, 경어체 일관성 부분이 차이가 나요.
• 단순 처리는 로컬, 사용자 대면 작업은 API라는 분리 전략이 2026년 현재 가장 현실적인 접근법이에요.
• 2026년 하반기에 한국어 특화 모델의 Ollama 지원이 안정화되면 이 구도가 달라질 거예요.

지금 당장 실험해볼 수 있어요. ollama pull llama3.2:3b 받고, 현재 GPT-4o-mini에 보내는 프롬프트 중 단순한 것 세 개를 똑같이 넣어보세요. 품질이 충분한지 아닌지 금방 느낌이 와요. 그 기준이 생기면, 어디서 API를 끊을지 결정하는 게 훨씬 쉬워져요.

결국 이 질문의 답은 벤치마크 숫자보다 여러분이 만드는 제품의 품질 기준에 달려 있어요. 그 기준을 먼저 정하는 게 순서예요.

참고자료

1. 2026 로컬 LLM 한국어 성능 심층 비교 — EXAONE vs Qwen 3.5 vs Gemma 4(RAG·에이전트 기준)
2. Ollama 0.19 MLX 전환 후기, 맥북 로컬 AI가 이렇게 달라졌다
3. Ollama가 Apple Silicon에서 MLX 엔진으로 전환 — 맥에서 로컬 LLM 성능이 확 달라집니다 - TTJ 테크뉴스

Photo by Merakist on Unsplash