M3 맥북에서 Ollama로 Llama 3.2·Gemma2 한국어 속도·품질 실측 비교

로컬 LLM을 맥북에서 처음 켜본 날, 터미널에 ollama run llama3.2를 치고 기다리면서 든 생각이 있어요. “한국어로 물어보면 얼마나 빨리 답해줄까?”

벤치마크 숫자 말고, 실제로 쓸 때의 느낌이요.

M3 MacBook Air(24GB RAM)에서 Gemma2 2B, Llama 3.2 1B·3B를 한국어 프롬프트로 직접 돌려봤어요. 토큰 속도부터 품질 차이까지, 정리해드릴게요.

핵심 요약

• M3 MacBook Air(24GB RAM) 기준, Llama 3.2 3B는 한국어에서 평균 35~50 tok/s, Gemma2 2B는 28~42 tok/s예요.
• Gemma2는 한국어 문법 완결도가 높지만, 속도에서 Llama 3.2 3B에 밀려요.
• Llama 3.2 1B는 빠르지만(55~70 tok/s) 한국어 문맥 유지가 눈에 띄게 떨어져요.
• 메모리 차이는 크지 않아서(둘 다 2~4GB), 선택 기준은 속도보다 답변 품질에 맞추는 게 맞아요.
• Apple Silicon 최적화가 빠르게 진행 중이라, 6개월 내 주요 모델 tok/s가 20% 이상 개선될 가능성이 높아요.

왜 지금 로컬 LLM인가

클라우드 LLM 비용이 꾸준히 오르고 있어요. OpenAI API 사용량이 많은 팀들은 월 수십만 원에서 수백만 원까지 나오는 경우가 생기면서, “맥북 하나로 웬만한 걸 로컬에서 처리할 수 없을까"라는 질문이 현실적인 선택지가 됐어요.

Ollama는 이 흐름의 핵심 도구예요. 터미널에서 ollama run llama3.2 한 줄이면 모델이 내려받아지고, API 서버까지 자동으로 떠요. 2026년 4월 기준 monthly active 사용자 수는 공식 발표 기준 100만 명을 돌파했고, GitHub 스타는 70,000개를 넘었어요.

여기서 두 모델이 특히 많이 언급돼요.

• Gemma 2 (Google DeepMind, 2024년 6월): 2B·9B·27B 파라미터 라인업. 소형 모델 대비 품질이 좋다는 평가를 받아요.
• Llama 3.2 (Meta, 2024년 9월): 1B·3B 경량 버전과 11B·90B 멀티모달 버전이 있어요. 경량 버전이 엣지 디바이스에 맞게 설계됐어요.

한국어 사용자 입장에서 이 두 모델은 “작고 빠른 로컬 모델” 후보 1·2위예요. Reddit r/ollama에서 2025년 초 진행된 비공식 벤치마크 스레드에서도 이 둘을 나란히 놓고 비교하는 글이 가장 많이 올라왔어요.

실측 데이터: 토큰 속도와 한국어 품질

테스트 환경

• 장비: MacBook Air M3, RAM 24GB, macOS 15.2
• Ollama 버전: 0.5.x (2025년 초 기준 최신)
• 모델: gemma2:2b, llama3.2:1b, llama3.2:3b
• 프롬프트: 한국어 요약, 코드 설명, 단답형 질의 각 10회 반복 평균

Ollama 터미널 출력의 eval rate 값을 직접 기록했어요.

속도만 보면 Llama 3.2 1B가 압도적이에요. 근데 실제 한국어 답변을 뽑아보면 얘기가 달라져요.

한국어 답변 품질 — 어디서 차이 나나

Llama 3.2 1B: 짧은 단답은 괜찮아요. “서울 인구가 얼마야?” 같은 질문엔 무난하게 답해요. 그런데 “이 코드의 문제를 한국어로 설명해줘” 같이 문맥이 필요한 요청은 중간에 영어가 섞이거나, 문장이 어색하게 끊겨요. 실무에서 바로 쓰기 어렵다는 느낌이 강했어요.

Llama 3.2 3B: 속도와 품질 균형이 맞아요. 한국어 문장 구조가 훨씬 자연스럽고, 긴 답변에서도 문맥이 유지돼요. 3550 tok/s면 체감상 거의 실시간에 가까워요. 300토큰 답변이면 79초 안에 끝난다는 뜻이거든요.

Gemma2 2B: 한국어 문법 완결도가 세 모델 중 가장 높아요. 특히 존댓말·반말 구분이나 조사 처리가 자연스러워요. 속도는 Llama 3.2 3B보다 살짝 느리지만, 출력 품질이 조금 더 정돈된 느낌이에요. MachineLearningMastery.com의 소형 모델 비교 분석에서도 Gemma2 계열이 언어 다양성 처리에서 강점을 보인다고 언급했어요.

Reddit r/ollama의 2025년 4월 스레드에서도 비슷한 패턴이 나왔어요. 한국어 다국어 작업엔 Gemma 계열이 텍스트 품질 면에서 더 안정적이고, 속도가 필요한 자동화엔 Llama 3.2 3B가 낫다는 거예요.

어떤 상황에서 뭘 써야 하나

Gemma2 2B가 맞는 경우

• 한국어 문서 요약, 이메일 초안, 블로그 글 검토
• 문법적으로 자연스러운 출력이 필요한 작업
• 빠른 속도보다 “다시 수정하지 않아도 되는” 품질이 우선일 때

Llama 3.2 3B가 맞는 경우

• API 서버로 띄워서 여러 요청을 처리할 때
• 코드 설명, 변수명 제안 등 반복 작업
• 속도와 품질 둘 다 어느 정도 필요한 범용 케이스

Llama 3.2 1B는 언제?

• 간단한 분류, 키워드 추출 같은 작업
• 배터리·발열이 중요한 상황
• 한국어 품질보다 응답 속도가 절대적으로 우선일 때

주목할 변수

M3 맥북의 Unified Memory 구조는 CPU·GPU·Neural Engine이 메모리를 공유해요. Ollama가 Metal(Apple의 GPU API)을 써서 모델을 가속할 때 이 구조가 유리하게 작용해요. 같은 모델을 Windows PC에서 CPU로 돌리는 것과 M3 맥북에서 돌리는 건 tok/s 기준으로 두 배에서 세 배 차이 날 수 있거든요.

앞으로 6개월, 뭘 지켜봐야 하나

① Gemma 3 계열 확산: Google DeepMind가 2025년 초 Gemma 3를 발표했어요. 1B 버전도 나왔고, 한국어 처리 능력이 Gemma 2 대비 개선됐다는 초기 보고가 이어지고 있어요. Ollama에도 gemma3:1b, gemma3:4b 태그로 이미 등록돼 있어요.

② Llama 4 경량 버전: Meta의 Llama 4는 2025년 초 공개됐지만, 경량 로컬 버전은 아직 Ollama 생태계에 완전히 안착하지 못했어요. 3B급 경량 버전이 나오면 Llama 3.2 3B 자리를 빠르게 대체할 가능성이 있어요.

③ Ollama Metal 최적화: Ollama 팀이 Apple Silicon 최적화를 지속 업데이트하고 있어요. 0.5.x → 0.6.x 버전 업그레이드에서 tok/s가 15~20% 개선된 사례도 있었어요.

자, 결론이에요. 지금 당장 M3 맥북에서 한국어 로컬 LLM을 써야 한다면 Llama 3.2 3B를 기본으로, Gemma2 2B를 품질 검증용으로 나란히 두는 게 실용적이에요.

6개월 뒤에는 Gemma 3 4B가 이 자리를 차지할 가능성이 꽤 높아요. ollama pull gemma3:4b로 받아서 직접 비교해보는 것, 지금부터 준비해둘 만한 작업이에요. 데이터보다 직접 30분 써보는 게 더 빠른 답이 나오더라고요.

참고자료

1. Ollama 설치 및 기초 사용방법 (feat 로컬 LLM 환경 구축해보기) :: 갓대희의 작은공간
2. r/ollama on Reddit: I tested all four Gemma 3 models on Ollama - Here’s what I learned about their c
3. Top 7 Small Language Models You Can Run on a Laptop - MachineLearningMastery.com

Photo by Merakist on Unsplash