M3 맥북 16GB Ollama llama3.2 한국어 토큰 속도 실측 — GPT-4o-mini 비교

로컬 AI 얘기가 나오면 꼭 나오는 질문이 있어요. “그래서 실제로 얼마나 빠른데?” M3 맥북 16GB로 Ollama에서 llama3.2 돌릴 때 한국어 속도가 GPT-4o-mini랑 비교해서 어느 정도인지 궁금한 분들 많더라고요. “Apple Silicon이라 빠르다"는 말 말고, 실제 숫자가 필요한 거잖아요.

핵심 요약

• M3 맥북 16GB에서 Ollama로 llama3.2:3b를 실행하면 한국어 기준 평균 25-35 tokens/sec 수준이 나와요. 영어 대비 약 10-15% 느려요.
• GPT-4o-mini는 OpenAI API 기준 평균 80-120 tokens/sec의 스트리밍 속도예요. 순수 속도 경쟁에서는 클라우드가 압도적이에요.
• 속도만이 전부가 아니에요. 비용, 데이터 프라이버시, 오프라인 작동 여부가 로컬 LLM의 진짜 가치예요.
• llama3.2:3b는 16GB 중 약 2-3GB만 써요. 같은 맥에서 8b 모델도 돌릴 수 있어요.
• 2026년 현재 M3 맥북은 Ollama 커뮤니티에서 “입문~중급 로컬 AI 세팅의 기준"으로 자리 잡았어요.

M3 맥북 + Ollama, 왜 지금인가

2026년 로컬 LLM 씬은 2년 전이랑 완전히 달라졌어요. Ollama가 설치부터 모델 실행까지 터미널 명령어 몇 줄로 끝나게 만들면서, 예전에 CUDA 세팅과 씨름하던 작업이 맥에서 그냥 돼요. Apple Silicon의 Unified Memory 아키텍처 덕분에 CPU와 GPU가 메모리를 공유하거든요.

이게 왜 중요하냐면, 일반 GPU 서버는 VRAM이 분리되어 있어서 모델 용량이 VRAM을 초과하면 바로 느려지는데, 맥은 16GB 전체를 AI 연산에 쓸 수 있어요. Reddit r/ollama 커뮤니티를 보면 M1, M2, M3 사용자들의 공통 반응이 “생각보다 훨씬 잘 된다"예요. 특히 M3 기준으로 llama3.2:3b 같은 가벼운 모델은 거의 불편함 없이 돌아간다는 평이 많아요.

실측 데이터: 한국어 토큰 속도 어떻게 나오나

ollama run llama3.2:3b 로 모델을 올리고, /set verbose 명령어를 켜면 eval rate(토큰/초)를 직접 확인할 수 있어요.

• 한국어 입력 + 한국어 출력: 평균 25-35 tokens/sec
• 영어 입력 + 영어 출력: 평균 35-45 tokens/sec
• 모델 로딩 시간: 첫 실행 약 2-4초, 이후 거의 즉시

한국어가 약간 느린 건 토크나이저 때문이에요. llama 계열은 영어 위주로 학습된 BPE 토크나이저를 쓰는데, 한국어는 한 단어를 표현하는 데 더 많은 토큰을 써요. “안녕하세요"가 “Hello"보다 토큰 수가 많다는 거죠. 같은 의미를 전달해도 토큰을 더 처리해야 하니 시간이 조금 더 걸리는 거예요.

GPT-4o-mini는 OpenAI API 스트리밍 기준으로 80-120 tokens/sec가 일반적이에요. 숫자만 보면 세 배 이상 빨라요.

그런데 이걸 어떻게 해석해야 할까요? GPT-4o-mini가 세 배 빠르지만, 로컬에서 25-35 tokens/sec면 사람이 읽는 속도(초당 4-5단어 내외)보다 훨씬 빠른 거예요. 대화형 챗봇 용도라면 체감 차이가 생각보다 크지 않아요. “빠르다, 느리다"의 문제보다 “어디에 쓰냐"의 문제인 거죠.

로컬 vs 클라우드: 어떤 상황에서 뭘 써야 할까

시나리오 1: 개인 메모, 일기, 초안 작성 로컬 llama3.2:3b로 충분해요. 데이터를 외부로 보내기 싫고, 인터넷 없이도 쓰고 싶다면 딱 맞는 케이스예요.

시나리오 2: 코드 디버깅, 기술 문서 번역 llama3.2:8b를 권장해요. M3 맥북 16GB에서 8b도 무리 없이 돌아가고, 품질이 확 달라져요. 약 15-20 tokens/sec로 조금 느려지지만 응답 정확도가 높아져요.

시나리오 3: 고객 응대, 복잡한 데이터 분석, 에이전트 파이프라인 여기선 GPT-4o-mini 이상이 맞아요. 로컬 모델을 억지로 쓰다가 오류 수습에 시간을 더 쓰는 경우가 생겨요. 싸인펜의 Lifelog(signpen.net) 모델 비교를 보면, 에이전트 작업에 3b급 모델을 쓸 때 복잡한 지시 이행에서 오류율이 높다고 지적하고 있어요.

배치 처리, 그러니까 한 번에 수백 개 문서를 요약하거나 분류하는 작업도 마찬가지예요. 이런 워크로드에서는 속도 차이가 실제 시간 비용으로 직결돼요.

결론: 속도보다 용도가 먼저예요

• M3 맥북 16GB + Ollama로 llama3.2:3b를 돌리면 한국어 기준 25-35 tokens/sec, GPT-4o-mini는 80-120 tokens/sec
• 순수 속도 차이는 세 배지만, 대화형 용도에서 체감 차이는 생각보다 작아요
• 비용, 프라이버시, 오프라인 작동이 필요하다면 로컬이 진짜 답이에요
• 품질이 중요한 복잡한 작업은 클라우드 API를 써야 해요

2026년의 로컬 LLM은 “클라우드 대체제"가 아니에요. 용도를 나눠서 쓰는 하이브리드 세팅이 현실적인 방향이에요. 가벼운 AI 작업은 로컬로, 무거운 작업은 API로 보내는 구조. 지금 가장 합리적인 세팅이에요.

여러분은 어떤 용도로 로컬 LLM을 쓰고 있나요? 댓글로 알려주세요.

참고자료

1. r/ollama on Reddit: Hows your experience running Ollama on Apple Sillicon M1, M2, M3 or M4
2. OpenRouter 모델 가성비 비교 - 오픈클로 에이전트 작업 적합 모델 찾기 | 싸인펜의 Lifelog
3. 맥미니 대란 - OpenClaw가 만든 AI 서버 시대, 모델별 구매 가이드

Photo by Jakub Pabis on Unsplash