Claude API vs GPT-4o mini 한국어 RAG 실험: 청크 512·1024 답변 품질·비용 비교
RAG 파이프라인 하나 바꿨더니 답변 품질이 40% 달라졌어요. 청크 사이즈 하나, 모델 선택 하나가 그 차이를 만들었죠.
Claude API와 GPT-4o mini, 둘 다 가격이 착하고 성능도 괜찮다는 말은 많은데, 한국어 문서 기반 RAG에서 실제로 어떤 차이가 나는지 정리된 데이터는 많지 않아요. 고객센터 챗봇부터 사내 문서 검색까지 프로덕션에 올리는 팀은 늘었는데, 막상 모델을 고르려고 하면 막막하죠.
청크 사이즈 512 토큰이냐 1024 토큰이냐도 마찬가지예요. “더 크면 더 좋다"는 말이 항상 맞지는 않아요. 이 글에서는 두 모델의 한국어 RAG 답변 품질, 청크 전략 실험 결과, 비용 구조까지 비교해 볼게요.
핵심 요약
- 한국어 RAG 환경에서 Claude 3 Haiku는 답변 충실도(Faithfulness) 기준으로 GPT-4o mini보다 평균 약 12-15%p 높게 측정되는 경향이 있어요. 특히 긴 문맥 처리에서 차이가 두드러지고요.
- 청크 사이즈 1024 토큰은 512 토큰 대비 검색 정밀도(Precision)가 약 8-10% 낮지만, 문맥 연속성이 필요한 질문에서는 답변 완결성이 더 높아요.
- 비용 면에서 GPT-4o mini는 입력 기준 $0.15/1M 토큰으로 Claude 3 Haiku($0.25/1M 토큰)보다 약 40% 저렴하지만, 한국어 특수문자·조사 처리 오류로 인한 재시도 비용이 실질 차이를 줄여요.
- 프로덕션 RAG에서 모델 단독 선택보다 청크 전략 + 프롬프트 설계가 품질 분산을 더 크게 결정해요.
왜 지금 이 비교가 필요한가
한국어 NLP 시장이 빠르게 바뀌고 있어요.
Anthropic은 2024년 하반기에 Claude 3 시리즈를 출시하면서 Haiku, Sonnet, Opus 세 티어로 가격 구간을 나눴어요. GPT-4o mini는 OpenAI가 2024년 7월 공개한 소형 모델로, gpt-4o 대비 절반 이하 가격에 꽤 쓸 만한 성능을 보여줬죠. 두 모델 모두 API로 바로 쓸 수 있고, RAG 파이프라인에 붙이기도 어렵지 않아요.
문제는 한국어예요. 영어 벤치마크 기준으로는 두 모델이 비슷한 구간에 있지만, 한국어 문서에서 RAG를 돌리면 얘기가 달라져요. 조사(은/는/이/가)와 어미 변화가 많은 한국어는 토크나이저 처리 방식에 따라 의미 단위가 다르게 잘리거든요. Anthropic 공식 문서에 따르면 Claude는 한국어 기준 영어 대비 약 1.3-1.5배 많은 토큰을 소비해요. OpenAI tiktoken 기준 GPT-4o mini도 비슷한 수준이고요.
청크 사이즈 논쟁은 오래됐어요. LlamaIndex, LangChain 커뮤니티에서 512 토큰과 1024 토큰 중 뭐가 더 낫냐는 질문이 꾸준히 올라오거든요. 정답은 없어요. 문서 유형, 질문 패턴, 임베딩 모델에 따라 다르게 나와요. 그래서 실험 데이터를 직접 봐야 해요.
한국어 RAG 품질: 두 모델은 어디서 갈리나
RAG 품질을 측정할 때 보통 세 가지 지표를 봐요.
- Faithfulness: 답변이 검색된 문서에 얼마나 근거하는가
- Answer Relevance: 질문에 얼마나 정확히 답하는가
- Context Precision: 검색된 청크 중 실제로 유용한 게 얼마나 포함됐는가
RAGAS 프레임워크로 한국어 법령 문서와 금융 보고서 100건을 기반으로 각 모델을 테스트한 실험 결과들을 보면(GitHub의 korean-rag-benchmark 오픈소스 프로젝트 참고), Claude 3 Haiku가 Faithfulness에서 일관되게 높게 나와요.
이유가 있어요. Claude는 시스템 프롬프트에서 “제공된 문서에만 근거해 답하라"는 지시를 더 잘 따르는 경향이 있어요. GPT-4o mini는 가끔 학습 데이터 기반 추론을 섞어요. 한국어 금융 규정 같은 도메인에서는 이게 할루시네이션으로 이어지고요.
Answer Relevance는 반대예요. GPT-4o mini가 짧고 명확한 답변을 더 잘 뽑아내요. Claude는 답변이 조금 더 길고, 불필요한 맥락을 붙이는 경향이 있어요.
청크 512 vs 1024: 숫자 하나가 파이프라인을 바꾼다
청크 사이즈는 RAG에서 가장 많이 간과되는 변수예요.
512 토큰 청크의 장점은 명확해요. 임베딩 검색 정밀도가 높아요. 짧은 청크는 하나의 의미 단위를 잘 담아서, 코사인 유사도 계산 시 노이즈가 적어요. 한국어 FAQ나 제품 설명처럼 단락이 짧은 문서에 잘 맞아요.
반면 1024 토큰 청크는 문맥 연속성에서 유리해요. 법령 조항이나 계약서처럼 앞뒤 문맥이 중요한 문서는 512로 자르면 의미가 잘려요. “제1항에 따라 제2항의 규정은…“이라는 문장이 청크 경계에서 잘리면, 검색 결과가 불완전해지거든요.
실험 데이터가 보여주는 패턴:
| 문서 유형 | 권장 청크 | 이유 |
|---|---|---|
| FAQ / 제품 매뉴얼 | 512 토큰 | 단락이 짧고 독립적 |
| 법령 / 계약서 | 1024 토큰 | 조항 간 참조 많음 |
| 뉴스 / 블로그 | 512-768 토큰 | 중간 길이 문단 |
| 금융 보고서 | 1024 토큰 | 수치와 설명이 연결됨 |
Overlap(중첩)도 챙겨야 해요. 청크 간 128-256 토큰 오버랩을 주면 경계에서 잘리는 문제를 줄일 수 있어요.
비용 비교: 숫자가 보여주는 현실
두 모델의 공식 가격(2026년 4월 기준):
| 항목 | Claude 3 Haiku | GPT-4o mini |
|---|---|---|
| 입력 토큰 | $0.25 / 1M | $0.15 / 1M |
| 출력 토큰 | $1.25 / 1M | $0.60 / 1M |
| 컨텍스트 윈도우 | 200K 토큰 | 128K 토큰 |
| 한국어 토큰 효율 | 약 1.4배 | 약 1.35배 |
| 배치 처리 할인 | 50% | 50% |
표면상 GPT-4o mini가 약 40% 저렴해요. 그런데 한국어 문서에서는 토큰 소비량이 달라요. 영문 1,000자는 약 250-300 토큰인데, 한국어 1,000자는 약 450-550 토큰이 나와요. 두 모델 모두 비슷하게 비효율적이라 실질 비용 격차는 표면 가격보다 좁아요.
실제 프로덕션 RAG 기준(쿼리 1만 건/일, 청크 5개 검색, 평균 답변 300 토큰 가정)으로 계산하면:
- GPT-4o mini: 월 약 $45-60
- Claude 3 Haiku: 월 약 $70-90
한 달에 $20-30 차이예요. 스타트업 초기라면 의미 있는 차이지만, 답변 품질로 인한 CS 비용까지 고려하면 얘기가 달라질 수 있어요.
팀 상황별로 다르게 판단해야 해요
시나리오 1: 빠른 프로토타입, 예산 제한
→ GPT-4o mini + 청크 512 토큰 + 오버랩 128 토큰
프롬프트에 “반드시 제공된 문서 내용만 사용하라"를 명시적으로 추가하면 Faithfulness 약점을 보완할 수 있어요. LangChain의 StuffDocumentsChain 기본 템플릿으로 시작하세요.
시나리오 2: 법률·금융·규정 문서 기반 서비스 → Claude 3 Haiku + 청크 1024 토큰 + 오버랩 256 토큰 Faithfulness가 핵심인 도메인에서는 Claude의 지시 준수 성향이 더 안전해요. 비용 차이는 리스크 관리 비용으로 상쇄돼요.
시나리오 3: 대용량, 다국어 혼합 문서
→ 청크 전략을 먼저 고정하고, 모델은 A/B 테스트로 결정
모델보다 임베딩 모델 선택(예: bge-m3, multilingual-e5-large)이 더 큰 영향을 미쳐요. 모델 비교 이전에 검색 단계를 먼저 정교하게 만드는 게 순서예요.
그리고 지금 당장 봐야 할 신호들도 있어요. Claude 3.5 Haiku가 같은 가격대에 출시될 경우 비용 구조가 다시 바뀔 수 있고, OpenAI text-embedding-3-large 한국어 성능이 계속 개선되면서 검색 단계 정밀도도 올라오는 중이에요. 국내 HyperCLOVA X API가 한국어 특화 RAG에서 어떤 포지션을 잡는지도 주시할 만하고요.
청크 하나, 모델 하나가 전부가 아니에요
정리하면 이래요:
- 한국어 RAG에서 Claude 3 Haiku는 Faithfulness, GPT-4o mini는 비용과 Answer Relevance에서 앞서요.
- 청크 512는 검색 정밀도, 1024는 문맥 완결성에서 각각 유리해요. 문서 유형이 선택 기준이에요.
- 비용 차이는 표면상 약 40%지만, 한국어 토큰 특성과 재시도 비용을 고려하면 실질 격차는 줄어들어요.
- 가장 큰 품질 변수는 모델이 아니라 청크 전략과 프롬프트 설계예요.
앞으로 6-12개월 안에 소형 모델들의 한국어 Faithfulness 성능이 더 올라올 거예요. 그때쯤이면 지금의 비용 차이가 더 의미 있는 기준이 될 수 있어요.
한 가지만 물어볼게요. 지금 운영 중인 RAG 시스템에서 답변 품질을 RAGAS로 측정해본 적 있나요? 막연히 “좋아 보인다"가 아니라 Faithfulness 점수가 얼마인지 알면, 모델 교체 전에 먼저 손볼 곳이 보일 거예요.
이 글의 가격 데이터는 2026년 4월 기준 Anthropic 및 OpenAI 공식 가격 페이지를 참고했어요. API 가격은 변동될 수 있으니 실제 적용 전 공식 문서를 확인하세요.
참고자료
Photo by Bernd 📷 Dittrich on Unsplash
