Claude API RAG 서비스 월 청구서 공개: 캐시 프롬프트 적용 전후 비용 비교
RAG 서비스를 운영하다 첫 달 청구서를 받고 멈칫한 적 있죠? 프로토타입에서 잘 작동하던 게 프로덕션으로 넘어가는 순간 비용 구조가 완전히 달라지거든요.
“캐시 프롬프트(Prompt Caching)가 실제로 얼마나 줄어드나요?” — Claude API를 쓰는 팀이 요즘 가장 많이 하는 질문이에요. 이 글에서는 실제 RAG 서비스 운영 기준으로 월 청구서를 공개하고, 수치로 직접 비교해볼게요.
핵심 요약
- Anthropic의 Prompt Caching은 캐시된 토큰을 입력 토큰 단가의 약 10% 수준으로 읽어오기 때문에, 반복 컨텍스트 비율이 높은 RAG 서비스에서 입력 비용을 최대 80% 이상 줄일 수 있어요.
- Claude 3.5 Sonnet 기준 일반 입력 토큰은 MTok당 $3.00이지만, 캐시 읽기는 MTok당 $0.30으로 정확히 10분의 1 단가가 적용돼요.
- 시스템 프롬프트 + 문서 컨텍스트가 전체 입력의 70% 이상을 차지하는 서비스라면, 캐싱 적용 전후 월 비용 차이가 수십만 원 수준에서 나타나요.
- 캐시 쓰기(Cache Write)는 일반 입력보다 25% 비싸지만, 다섯 번 이상 재사용되는 순간부터 이득이에요.
비용 문제가 이제야 본격화된 이유
RAG 패턴이 프로덕션 표준으로 자리잡으면서, 매 요청마다 수천 토큰짜리 문서 컨텍스트를 시스템 프롬프트에 붙여 넣는 방식이 일반화됐어요. 문제는 구조예요. RAG 서비스는 요청마다 이런 형태로 생겼어요.
[시스템 프롬프트: 500 토큰]
[검색된 문서 1-5: 3,000~6,000 토큰]
[사용자 질문: 50~200 토큰]
전체 입력에서 사용자 질문이 차지하는 비중은 많아야 5%. 나머지 95%는 매번 똑같거나 비슷한 내용이에요. Anthropic의 Prompt Caching은 정확히 이 패턴을 겨냥해 설계됐어요. 반복되는 컨텍스트를 캐시에 저장해두고, 이후 요청에서 훨씬 싼 단가로 읽어오는 방식이에요.
Anthropic이 이 기능을 출시한 건 2024년 8월이었어요. 처음엔 “도입하면 좋은 기능” 수준으로 여겨졌는데, 서비스 규모가 커질수록 비용 차이가 선형이 아니라 지수적으로 벌어진다는 걸 팀들이 실감하기 시작했죠. 그래서 2026년 4월 현재, Claude API를 쓰는 B2B SaaS 팀 중 상당수가 Prompt Caching을 기본 설정으로 쓰고 있어요. 그런데도 “실제로 얼마나 줄어드는지” 구체적인 비교 데이터를 못 봤다는 팀이 여전히 많더라고요.
Claude API 비용 구조: 숫자부터 볼게요
Anthropic 공식 가격표(2026년 4월 기준)예요.
| 모델 | 입력 (MTok당) | 캐시 쓰기 (MTok당) | 캐시 읽기 (MTok당) | 출력 (MTok당) |
|---|---|---|---|---|
| Claude 3.5 Sonnet | $3.00 | $3.75 | $0.30 | $15.00 |
| Claude 3.5 Haiku | $0.80 | $1.00 | $0.08 | $4.00 |
| Claude 3 Opus | $15.00 | $18.75 | $1.50 | $75.00 |
캐시 쓰기는 일반 입력보다 25% 비싸요. 하지만 캐시 읽기는 일반 입력의 10%밖에 안 해요. 다섯 번째 요청부터 이미 손익분기점을 넘는 구조예요.
실제 RAG 서비스 월 청구서: 캐싱 전후 비교
아래 수치는 일 평균 요청 수 5,000건, 평균 컨텍스트 4,000 토큰, 사용자 쿼리 100 토큰, 출력 500 토큰인 Claude 3.5 Sonnet 기반 서비스 기준이에요.
캐싱 미적용 시 (월 기준)
- 총 입력 토큰: (4,000 + 100) × 5,000 × 30 = 615 MTok
- 입력 비용: 615 × $3.00 = $1,845
- 출력 비용: $1,125
- 월 합계: $2,970 (약 400만 원)
캐싱 적용 시 (월 기준)
시스템 프롬프트 500 토큰은 항상 캐시, 문서 컨텍스트 3,500 토큰은 첫 요청 후 캐시 기준이에요.
- 캐시 쓰기: $197
- 캐시 읽기: $180
- 사용자 쿼리 입력: $45
- 출력 비용: $1,125 (동일)
- 월 합계: $1,547 (약 210만 원)
절감액: 약 $1,423 / 월 (48% 절감). 청구서 하나가 거의 절반으로 줄어요.
캐시 재사용률이 높아질수록 이 숫자는 더 벌어져요. 같은 문서를 하루에 열 번 이상 참조하는 FAQ 봇이나 사내 지식베이스 서비스라면 절감률이 70%를 넘기도 해요.
캐싱 전략 비교
| 비교 기준 | 캐싱 없음 | 시스템 프롬프트만 캐싱 | 문서 컨텍스트 전체 캐싱 |
|---|---|---|---|
| 구현 난이도 | 없음 | 낮음 | 중간 |
| 입력 비용 절감 | 0% | 10~20% | 40~80% |
| 캐시 만료 관리 | 불필요 | 단순 | 문서 업데이트 시 필요 |
| 최적 케이스 | 단발성 쿼리 | 시스템 프롬프트 긴 경우 | 반복 문서 참조 서비스 |
| 주의사항 | 없음 | 프롬프트 변경 시 캐시 무효화 | 문서 변경 감지 로직 필요 |
참고로, 캐시는 Anthropic 서버에 약 5분간 유지되고 재요청 시 자동 연장돼요. 트래픽이 뜸한 새벽 시간대에 캐시가 만료되는 서비스라면 오히려 그 시간대 비용이 올라갈 수 있어요. 항상 이득만 있는 건 아니에요.
어떤 서비스 유형이 가장 이득인가요
상황 1: FAQ / 사내 지식베이스 봇
같은 문서 수백 개를 하루 수천 번 참조해요. 캐시 재사용률이 90%를 넘기 때문에 가장 극적인 효과가 나요. Anthropic 공식 문서에서도 이 유형을 주요 케이스로 제시하고 있어요. 문서 컨텍스트 전체를 캐싱 대상으로 설정하는 게 맞아요.
상황 2: 코드 리뷰 / 긴 시스템 프롬프트 서비스
리포지터리 전체나 코딩 가이드라인을 시스템 프롬프트에 붙여 넣는 구조예요. 문서가 자주 바뀌지 않고 요청 간격이 짧다면 효과가 커요. 다만 리포지터리 업데이트 시 캐시 무효화 로직을 반드시 짜두어야 해요.
상황 3: 실시간 웹 검색 + RAG 혼합
검색 결과가 매 요청마다 달라지는 구조예요. 이 경우 문서 컨텍스트 캐싱 효과는 낮은 편이에요. 시스템 프롬프트 부분만 캐싱해도 10~20%는 줄일 수 있으니, 그것만 적용해도 충분해요.
앞으로 주시할 신호 세 가지
- Anthropic의 캐시 TTL 정책 변경 — 현재 5분 기준이 늘어나면 야간 트래픽 저하 서비스에도 유리해져요.
- Claude 3.5 Haiku 성능 개선 여부 — 단가가 Sonnet의 4분의 1 수준이라, 경량 태스크에서는 모델 자체를 바꾸는 것도 비용 전략이에요.
- 배치 API 할인 — 비실시간 처리가 가능한 태스크는 배치 API로 추가 절반 절감이 가능해요.
정리하면
캐시 프롬프트는 RAG 서비스에서 선택이 아니라 기본이 됐어요. 같은 트래픽에서 청구서가 절반 가까이 달라지거든요. 반복 컨텍스트 비율이 70% 이상인 서비스라면 지금 당장 캐싱 적용 여부를 점검해야 해요.
가장 간단한 첫 단계는 시스템 프롬프트에 cache_control 블록 하나 추가하는 것. 구현 시간은 30분이지만, 절감은 바로 다음 청구서부터 나타나요.
서비스 규모가 커질수록 체감 차이도 커져요. 지금 아키텍처에서 캐싱 가능한 비율이 얼마나 되는지, 한번 계산해보는 게 다음 단계예요.
참고자료
- Claude Code Pricing Guide 2026: Every Plan, Real Costs, and How to Choose | LaoZhang AI Blog
- 클로드(Claude) 모델 별 API 가격 총정리 - 앤디가이 블로그
Photo by Levart_Photographer on Unsplash
