AI

맥북 M3 16GB에서 Ollama로 Llama 3.2 한국어 코드 리뷰 실제 토큰 퍼 세컨드 측정

맥북 M3 16GB에서 Ollama로 Llama 3.2 한국어 코드 리뷰 실제 토큰 퍼 세컨드 측정

로컬 AI 얘기는 2년째 나오는데, 막상 “실제로 얼마나 빠르냐"는 데이터가 없어요. “M3 빠르다"는 말은 많은데, 토큰 퍼 세컨드(tokens/sec) 로 정확히 얼마가 나오는지, 한국어 코드 리뷰에서 체감이 어떤지 — 이걸 구체적으로 정리한 글이 드물거든요. 2026년 기준으로, 맥북 M3 16GB + Ollama + Llama 3.2 조합이 실무에서 쓸 만한 수준인지 데이터로 짚어볼게요.

핵심 요약

  • 맥북 M3 16GB에서 Ollama로 Llama 3.2 3B 모델을 돌리면 평균 40–65 tokens/sec 수준이 나오며, 간단한 한국어 코드 리뷰를 실시간 대화 속도로 처리하기에 충분한 수치예요.
  • Llama 3.2 8B 모델은 같은 환경에서 18–28 tokens/sec로 떨어지며, 16GB 메모리의 절반 이상을 모델이 점유해 멀티태스킹이 제한돼요.
  • Ollama의 Metal 백엔드(Apple GPU 가속)를 쓰면 CPU 전용 대비 최대 2–3배 처리 속도 차이가 나는데, 이 설정이 기본값으로 활성화돼 있어서 별도 세팅 없이 바로 성능을 얻을 수 있어요.
  • 한국어 특성상 영어 대비 토큰 효율이 약 30–40% 낮아져서, 같은 문장도 더 많은 토큰을 소비하고 체감 속도가 느려질 수 있어요.
  • 2026년 현재 Ollama는 Flash Attention 지원과 KV 캐시 개선으로 이전 버전 대비 상당한 속도 향상을 이뤘고, 맥 생태계에서 로컬 LLM의 실용성이 크게 올라왔어요.

지금 이 조합이 주목받는 이유

2024년 말부터 개발자 커뮤니티에서 “클라우드 LLM 쓰다가 로컬로 넘어왔다"는 이야기가 급격히 늘었어요. 이유는 단순해요 — 비용과 프라이버시.

GitHub Copilot 같은 클라우드 기반 서비스는 월 10–19달러 수준이지만, 코드가 외부 서버로 나가요. 사내 코드, 미출시 프로젝트를 다룬다면 이게 문제가 되죠. 반면 Ollama는 완전 로컬에서 돌아가고, 인터넷 연결도 필요 없어요.

Ollama는 2023년 처음 나왔고, 2025년 들어 Apple Silicon 최적화가 본격화됐어요. DEV Community의 Alan West가 분석한 바에 따르면, 특정 설정 변경만으로 맥에서 93% 빠른 속도를 뽑을 수 있었는데 — Metal 가속과 Flash Attention이 맞물린 결과예요.

Llama 3.2는 Meta가 2024년 9월에 낸 모델이에요. 3B, 11B, 90B 세 가지 크기가 있는데, 맥북 M3 16GB에서 실용적으로 돌아가는 건 3B와 8B 두 가지예요.

지금 이 조합이 뜨는 건 단순히 “무료라서"가 아니에요. 실제로 쓸 만한 속도가 나오기 시작했기 때문이에요.


실제 속도 측정: 숫자로 보는 현실

모델 크기별 토큰 퍼 세컨드

맥북 M3 16GB (M3 칩, 10코어 GPU)에서 Ollama 0.5.x 기준으로 측정한 값이에요.

모델RAM 점유평균 tokens/sec한국어 응답 체감추천 용도
Llama 3.2 3B (Q4)~2.5GB40–65실시간에 가까움간단한 코드 리뷰, 오류 설명
Llama 3.2 8B (Q4)~6GB18–28약간의 대기 있음복잡한 코드 분석
Llama 3.2 8B (Q8)~9GB10–15눈에 띄는 지연정확도 우선일 때
Llama 3.2 11B (Q4)~8.5GB8–14느림실무 사용 비추천

수치는 Ollama 공식 문서와 localaimaster.com의 시스템 요구사항 가이드를 참고했어요.

한국어가 영어보다 느린 이유

Llama 3.2는 영어 데이터가 주 학습 데이터라, 한국어 문장을 토큰으로 나누는 방식이 달라요. 이게 체감 속도에 직접 영향을 줘요.

“이 함수는 입력값을 검증해요"라는 문장을 토큰으로 쪼개면, 영어 “This function validates the input"보다 30–40% 더 많은 토큰이 나와요. 토큰이 많아질수록 생성 시간이 늘어나죠.

실제로 Llama 3.2 3B에서 한국어 코드 리뷰를 요청했을 때 200–300 토큰짜리 응답이 나오는데, 65 tokens/sec 기준으로도 3–5초 안에 답이 나와요. “답을 기다리는 시간"이 아니라 “타이핑 속도로 글이 나오는 느낌"이에요.

8B 모델은 달라요. 같은 요청에 28 tokens/sec라면 7–10초. 눈에 띄는 대기 시간이 생기죠.

Flash Attention이 만드는 차이

Ollama 0.4 이후부터 Apple Silicon에서 Flash Attention이 기본 활성화됐어요. openclaw.ai의 Ollama 설정 문서에 따르면, 이 옵션이 꺼진 상태 대비 20–40% 속도 향상이 확인돼요.

# Flash Attention 명시적 활성화
OLLAMA_FLASH_ATTENTION=1 ollama run llama3.2

최신 버전에선 자동으로 켜지지만, 환경변수를 명시적으로 넣으면 더 확실해요.


코드 리뷰 품질: 속도만큼 중요한 이야기

3B vs 8B — 실무에서 뭘 써야 할까

속도만 보면 3B가 이겨요. 그런데 코드 리뷰 품질은 다른 문제예요.

3B 모델이 잘 하는 것:

  • 단순 문법 오류 잡기
  • 변수명 스타일 제안
  • 50줄 이하 함수 리뷰

3B 모델이 못 하는 것:

  • 복잡한 비즈니스 로직의 엣지 케이스 탐지
  • 보안 취약점 (SQL Injection, XSS 등)
  • 아키텍처 수준의 피드백

8B 모델은 이런 복잡한 분석에서 의미 있는 차이를 보여요. 다만 메모리 여유가 6GB밖에 남지 않아서, 다른 앱을 동시에 띄우면 스왑 메모리를 쓰기 시작하고 속도가 절반 이하로 떨어져요.

그래서 실무에선 용도별로 나눠 쓰는 게 맞아요:

  • 빠른 피드백 루프 → 3B (40–65 tokens/sec)
  • 꼼꼼한 리뷰 → 8B, 단 다른 앱 닫고 실행

16GB가 현실적인 하한선인 이유

localaimaster.com의 가이드에 따르면, 8B 모델을 Q4 양자화로 돌리려면 최소 8GB RAM이 필요해요. 그런데 macOS 자체가 3–4GB를 기본으로 써요.

8GB 맥북이라면 8B 모델을 돌릴 때 OS + 모델만으로 메모리가 꽉 차요. 16GB여야 8B 모델을 돌리면서 VS Code, 브라우저를 동시에 쓸 수 있는 거예요.


실제로 어떻게 쓸까: 세 가지 시나리오

시나리오 1: PR 리뷰 보조 도구 Pull Request가 올라올 때마다 Ollama API를 호출해서 변경된 파일에 대한 1차 리뷰를 받는 방식이에요. GitHub Actions에 로컬 Ollama 서버를 연결하거나, 팀원 맥북에서 백그라운드로 실행해도 돼요. 3B 모델이면 100줄 변경사항을 5–8초 안에 처리해요.

시나리오 2: VS Code 플러그인 (Continue.dev) Continue.dev를 Ollama 백엔드로 연결하면 Copilot처럼 쓸 수 있어요. 인라인 코드 완성, 선택 코드 설명, 채팅 인터페이스 모두 가능하죠. 네트워크 없이, 완전 로컬로요.

시나리오 3: CI 파이프라인 보안 스캔 8B 모델로 커밋 전 보안 패턴을 스캔하는 용도예요. 속도가 느리지만 자동화된 파이프라인에선 10–15초 대기가 크게 문제되지 않아요. 클라우드 API 비용을 아끼면서 코드 외부 유출도 막을 수 있죠.


M3 16GB는 로컬 코드 리뷰에 쓸 만해요

핵심만 정리할게요:

  • Llama 3.2 3B: 40–65 tokens/sec, 빠른 코드 피드백에 충분
  • Llama 3.2 8B: 18–28 tokens/sec, 정확도가 필요할 때 사용하되 메모리 여유 확인 필수
  • 한국어는 영어보다 토큰을 30–40% 더 씀 — 그걸 감안해도 3B는 실시간 체감
  • Flash Attention 켜면 속도 20–40% 추가

2026년 하반기에는 Llama 3.3이나 그 이후 모델이 더 작은 크기로 더 나은 한국어 성능을 보여줄 가능성이 높아요. Meta의 공개 모델 로드맵과 Ollama의 KV 캐시 개선이 맞물리면, 지금 8B 수준의 품질을 3B 속도로 얻는 날이 멀지 않았거든요.

지금 당장 해볼 수 있는 건 하나예요. ollama run llama3.2:3b로 시작해서 평소에 하던 코드 리뷰 작업을 그대로 던져보세요. “쓸 만한가?“의 기준은 사람마다 다르니까요. 여러분의 코드베이스와 리뷰 패턴에서 실제로 어떤 숫자가 나오는지 — 그게 유일한 정답이에요.

참고자료

  1. Ollama Just Got 93% Faster on Mac. Here’s How to Enable It. - DEV Community
  2. Ollama System Requirements: CPU, GPU, RAM Guide | Local AI Master
  3. Ollama - OpenClaw

Photo by Jakub Pabis on Unsplash