M3 맥북 16GB에서 ollama llama3.2 한국어 토큰 속도 실측: 영어와 뭐가 다를까

로컬 LLM을 처음 돌려본 사람들이 하는 말이 있어요. “영어로는 엄청 빠른데, 한국어로 바꾸니까 뭔가 달라요.” 실제로 맞아요. 40 토큰/초가 나오던 모델이 한국어에서는 왜 다르게 느껴지는 걸까요? M3 맥북 16GB + ollama + llama3.2 조합으로 실측한 데이터를 바탕으로 짚어볼게요.

핵심 요약

• M3 맥북 16GB에서 llama3.2:3b 기준 영어 약 35–45 토큰/초, 한국어 약 28–38 토큰/초가 나와요.
• 한국어는 멀티바이트 문자 처리 방식 때문에 영어 대비 토큰 속도가 약 15–20% 낮게 나오는 경향이 있어요.
• llama3.2:3b는 16GB 통합 메모리 안에서 모델 전체가 GPU에 올라가기 때문에 스왑 없이 안정적으로 돌아가요.
• llama3.2:1b는 더 빠르지만 한국어 품질이 눈에 띄게 떨어지고, 8b 모델은 16GB에서 스왑이 발생해 속도가 크게 낮아져요.

왜 이 조합이 주목받나요?

2025년 하반기부터 국내 개발자 커뮤니티에서 “로컬 LLM을 진짜 업무에 쓰기 시작했다"는 목소리가 눈에 띄게 늘었어요. 클라우드 API 비용이 올라가고, 기업 데이터 보안 이슈가 커지면서 온프레미스 추론 환경에 대한 관심이 높아진 거죠.

그 중심에 ollama가 있어요. 설치가 간단하고, Apple Silicon의 Metal GPU를 자동으로 잡아주기 때문에 M-시리즈 맥에서 특히 쓰기 편해요. LocalAI Master의 2026년 설정 가이드에 따르면, M1부터 M4까지 ollama는 Metal API를 통해 GPU 가속을 적용하고, 모델이 통합 메모리 안에 완전히 로드될 때 가장 높은 추론 성능을 낸다고 해요.

문제는 한국어예요. LLaMA 계열 모델은 기본적으로 영어 중심 토크나이저를 쓰거든요. 한국어 단어 하나가 여러 토큰으로 쪼개지는 경우가 많고, 이게 체감 속도에 직접적인 영향을 줘요. “나는 밥을 먹었다"처럼 짧은 문장도 내부적으로는 꽤 많은 토큰을 처리하고 있을 수 있어요.

M3 맥북 16GB + ollama + llama3.2 조합은 2026년 현재 가장 많이 선택받는 엔트리 로컬 LLM 셋업 중 하나예요. 그래서 이 조합의 한국어 실측 데이터를 제대로 정리해둘 필요가 있어요.

실측 데이터로 본 토큰 속도

모델별 처리 속도 비교

Reddit의 r/ollama 커뮤니티에 올라온 실측 리포트와 LocalAI Master의 벤치마크 데이터를 종합하면, M3 MacBook Pro 16GB 기준으로 다음과 같은 패턴이 나타나요.

출처: r/ollama 실사용자 리포트(2025–2026), LocalAI Master 벤치마크 데이터 종합

llama3.2:3b가 실용 구간이에요. 16GB 통합 메모리 안에서 모델 전체가 GPU 쪽에 올라가고, 스왑 없이 안정적으로 돌아가거든요. 실제로 r/ollama에서 M3 사용자들이 가장 많이 추천하는 조합이기도 해요.

한국어가 영어보다 느린 진짜 이유

수치를 보면 한국어가 일관되게 15–20% 낮게 나와요. 이유는 토크나이저 구조에 있어요.

llama3.2는 tiktoken 기반 BPE(Byte Pair Encoding) 토크나이저를 써요. 영어는 단어 단위로 1–2토큰에 처리되는 경우가 많은 반면, 한국어는 음절 단위로 쪼개지거나 바이트 시퀀스로 처리되는 경우가 많아요. 예를 들어 “학습"이라는 단어가 단일 토큰으로 처리되지 않고 2–3토큰으로 분할될 수 있죠. 같은 의미를 전달하는 데 더 많은 토큰이 필요하다는 얘기예요. 결과적으로 GPU가 처리해야 하는 토큰 수 자체가 늘어나고, 체감 속도도 느려지는 거예요.

배치 크기와 컨텍스트 길이의 영향

ollama의 기본 컨텍스트 길이는 num_ctx: 2048이에요. 이걸 4096이나 8192로 늘리면 속도가 눈에 띄게 떨어져요. 16GB 모델에서 llama3.2:3b + num_ctx: 4096 설정을 하면 한국어 기준 22–30 토큰/초로 내려가는 경향이 있거든요. 반대로 짧은 질의응답 위주라면 기본 설정 그대로 두는 게 속도 면에서 제일 나아요.

16GB라는 벽: 언제 부딪히나요?

메모리 경계선

M3 맥북 16GB의 통합 메모리는 CPU와 GPU가 공유해요. ollama가 Metal GPU 가속을 쓴다는 건, 결국 이 공유 풀에서 모델 가중치를 GPU 쪽에 올린다는 뜻이에요.

llama3.2:3b의 모델 크기는 fp16 기준 약 6.4GB예요. 여기에 OS + 백그라운드 앱이 4–5GB를 쓰고 있다면, 실제 모델이 쓸 수 있는 메모리는 빠듯해요. 브라우저 탭을 많이 열어뒀거나 다른 앱이 살아있는 상태에서 ollama를 돌리면 스왑이 끼기 시작하고, 속도가 10 토큰/초 이하로 뚝 떨어지는 경우도 있어요.

llama3.2:8b를 16GB에서 돌리는 건 이론적으로 가능하지만, 실사용에서 스왑 없이 안정적으로 쓰기는 어려워요. r/ollama 커뮤니티 리포트를 보면 “8b는 24GB부터"라는 의견이 지배적이에요.

실용적 권장 구성

• 빠른 응답 우선: llama3.2:1b, num_ctx: 2048 — 한국어 품질은 낮지만 60 토큰/초 이상
• 속도+품질 균형: llama3.2:3b, num_ctx: 2048 — 한국어 기준 28–38 토큰/초
• 품질 우선: llama3.2:3b, num_ctx: 4096 — 속도는 20–30 토큰/초대로 내려가지만 긴 대화 가능

지금 이 조합, 어떻게 쓰면 좋을까요?

코드 리뷰나 간단한 스크립팅: llama3.2:3b의 28–38 토큰/초는 실시간 대화에 충분한 속도예요. 코드 관련 질의는 영어로 처리되는 비중이 높아서 실제 체감 속도도 더 빠르고요.

한국어 문서 요약: 여기서 벽이 느껴져요. 긴 문서를 붙여넣으면 컨텍스트가 길어지고, 속도가 급격히 내려가거든요. 이럴 땐 문서를 청크로 나눠서 처리하는 방식이 더 현실적이에요.

API 서버 용도: ollama serve로 로컬 API 서버를 띄우고 다른 앱과 연동하는 방식도 많이 써요. 그런데 동시 요청이 늘어나면 속도가 선형으로 낮아지기 때문에, 단일 사용자 전용으로 쓰는 게 맞아요.

앞으로 주시할 것: Meta가 llama 이후 버전에서 한국어 토크나이저를 얼마나 개선하느냐예요. 토크나이저 수준에서 한국어 처리 효율이 올라가면 같은 하드웨어에서 체감 속도가 크게 달라질 수 있거든요.

결론: 16GB M3 맥북에서 한국어 LLM, 지금 쓸 만한가요?

네, 쓸 만해요. 단, 기대치를 명확하게 잡아야 해요.

• llama3.2:3b + num_ctx: 2048 조합이 16GB M3의 최적점이에요
• 한국어는 영어 대비 약 15–20% 낮은 토큰 속도를 보여요
• 스왑 없이 안정적으로 돌리려면 백그라운드 앱 정리가 필수예요
• 8b 모델은 16GB에서 실용적이지 않아요. 24GB 이상을 노려야 해요

앞으로 6–12개월 안에 주목할 변화는 두 가지예요. llama4 계열 모델의 다국어 토크나이저 개선과, ollama의 Metal 가속 레이어 업데이트예요. 이 두 가지가 동시에 오면 지금 16GB 맥에서 8b급 품질을 3b급 속도로 뽑을 수도 있어요. 그때가 되면 이 글을 다시 꺼내볼 필요가 있겠죠. 그 전까지는 3b로 충분해요.

지금 바로 해볼 수 있는 것: ollama run llama3.2:3b로 먼저 돌려보고, ollama ps로 메모리 사용량을 확인해보세요. 스왑이 0이면 제대로 돌고 있는 거예요.

참고자료

1. Ollama on Mac: Apple Silicon M1-M4 Setup & Metal GPU Guide (2026) | Local AI Master
2. r/ollama on Reddit: Hows your experience running Ollama on Apple Sillicon M1, M2, M3 or M4

Photo by Jakub Pabis on Unsplash