Claude API 프롬프트 캐싱으로 RAG 파이프라인 토큰 비용 절감한 실험 결과

RAG 파이프라인을 하루 수만 건씩 돌리다 보면, 토큰 비용이 어느 순간 서버비를 넘어서요. 그때부터 팀장이 물어보기 시작하죠. “Claude API 캐싱이라는 거, 우리도 써야 하는 거 아니에요?”

핵심 요약

• Claude API 프롬프트 캐싱을 적용하면 반복 요청에서 캐시 읽기 비용이 기본 입력 토큰 요금의 10% 수준으로 떨어져요. Claude 3.5 Sonnet 기준 일반 입력은 100만 토큰당 $3이지만, 캐시 읽기는 $0.30이에요.
• RAG 파이프라인처럼 동일한 시스템 프롬프트나 컨텍스트를 반복해서 붙여 보내는 구조에서 캐싱 효과가 극대화돼요. 반복 비율이 높을수록 절감폭이 커지는 구조거든요.
• 캐시 쓰기(write) 비용은 일반 입력보다 25% 비싸고, 캐시는 5분 단위로 만료돼요. 그래서 요청 빈도와 캐시 히트율을 먼저 따져봐야 해요.
• 토큰 수를 줄이는 것(프롬프트 압축)과 캐싱을 병행하면 RAG 파이프라인 기준 비용을 최대 60% 이상 줄일 수 있다는 실험 결과들이 있어요.

1. RAG 비용, 어디서 터지나요?

RAG는 단순해 보이지만 토큰 소비 구조가 독특해요. 매 요청마다 시스템 프롬프트 + 검색된 문서 컨텍스트 + 사용자 질문을 통째로 묶어서 보내거든요. 이 세 덩어리 중 시스템 프롬프트와 문서 컨텍스트는 요청마다 거의 같아요. 사용자 질문만 달라지는 경우가 대부분이죠.

사내 문서 검색 서비스를 만든다고 해봐요. 시스템 프롬프트 500 토큰, 검색된 문서 청크 2,000 토큰이라면, 매 요청에서 2,500 토큰이 그냥 반복 전송돼요. 하루 1만 건이면 2,500만 토큰이 고정 낭비인 셈이에요.

Claude 3.5 Sonnet 기준 입력 100만 토큰당 $3이니까, 이 고정 비용만 하루 $75가 나와요. 월로 치면 $2,250. 서비스 규모가 커질수록 이 숫자가 무서워지는 거예요.

2. 프롬프트 캐싱, 어떻게 작동하나요?

캐싱 메커니즘의 핵심

개념 자체는 심플해요. 동일한 프롬프트 블록을 서버 측 KV(Key-Value) 캐시로 저장해두고, 이후 요청에서 같은 블록이 오면 다시 연산하지 않는 거예요. 캐시된 블록을 읽을 때는 대폭 할인된 요금이 적용돼요.

Anthropic 공식 문서 기준 요금 구조는 이렇게 돼요:

여기서 놓치면 안 되는 게 있어요. 캐시 쓰기 비용이 25% 비싸다는 거예요. 첫 요청에서는 오히려 더 비쌀 수 있거든요. 두 번째 요청부터 90% 싸지는 구조예요.

캐시 만료와 히트율 계산

캐시 TTL은 기본 5분이에요. 5분 이내에 동일한 프롬프트 블록으로 재요청이 와야 캐시 히트가 발생해요. 트래픽이 일정하게 유지되는 서비스에서는 히트율이 높지만, 간헐적으로 들어오는 배치 작업에서는 효과가 제한적일 수 있어요.

RAG 파이프라인에서 캐싱이 잘 맞는 이유는 시스템 프롬프트와 검색된 문서 컨텍스트가 짧은 시간 안에 반복되기 때문이에요. 분당 수십 건 이상이면 캐시 히트율이 자연스럽게 올라가요.

3. 실험 결과: 적용 전후 비교

실험 설정

시스템 프롬프트 400 토큰 + 문서 컨텍스트 2,000 토큰 + 사용자 쿼리 평균 100 토큰, 출력 200 토큰 고정. 하루 1만 건 요청 기준이에요.

캐싱 없이 계산하면:

• 입력: (400 + 2,000 + 100) × 10,000 = 2,500만 토큰
• 입력 비용: $75/일
• 출력 비용: $30/일
• 총합: $105/일

캐싱 적용 후 (히트율 85% 가정):

• 캐시 히트 시 읽기: 2,400 토큰 × 8,500건 × $0.30/1M ≈ $6.12
• 캐시 미스 및 쿼리 입력: 100 토큰 × 10,000건 × $3.00/1M ≈ $3
• 출력 비용 동일: $30/일
• 안정화 이후 총합: 약 $39/일

절감율 약 63%. 실험 데이터에서 자주 언급되는 “60% 절감” 수치와 맞닿아 있어요.

캐싱만으로는 부족한 경우

캐시 히트율이 60% 이하로 떨어지면 이야기가 달라져요. 히트율 50%라면 절감폭이 30% 수준으로 줄고, 캐시 쓰기 비용을 감안하면 오히려 손해 구간도 생겨요.

그래서 강조되는 게 캐싱 단독보다 토큰 압축과의 병행이에요. 문서 컨텍스트를 요약하거나 중요 청크만 선별해서 2,000 토큰을 800 토큰으로 줄이면, 캐싱 효과에 프롬프트 압축 효과까지 더해져요.

4. 팀 규모별 접근법

소규모 팀 (일 요청 1천 건 미만): 캐싱보다 프롬프트 압축에 먼저 집중하세요. 하루 1천 건이면 캐싱 절감 금액 자체가 $3~5 수준에 불과해요. 시스템 프롬프트 구조 정리, 불필요한 예시 제거, 검색 청크 크기 조정으로 시작하는 게 ROI가 더 높아요.

중간 규모 팀 (일 요청 5천~5만 건): 이 구간이 캐싱의 스위트 스팟이에요. 일 5천 건 이상에서 캐싱 적용 시 월 비용이 $200~$800 수준 절감되는 실제 사례들이 있어요. 캐시 쓰기 블록 설계가 중요한데, 너무 짧은 블록은 캐시 적용이 안 돼요. 최소 1,024 토큰 이상을 권장해요.

대규모 팀 (일 요청 10만 건 이상): 캐싱 + 프롬프트 압축 + 모델 계층화 전략이 필요해요. 단순 FAQ나 검색 쿼리는 Claude 3 Haiku로, 복잡한 분석은 Sonnet으로 라우팅하는 방식이에요. 이 세 가지를 같이 쓰면 단순 캐싱 대비 추가로 20~30% 더 줄일 수 있어요.

5. 결론: 숫자가 말해주는 것

정리하면 이렇게 돼요:

• 캐싱 적용 전후 비용 차이: 히트율 85% 조건에서 RAG 파이프라인 입력 비용 기준 약 63% 절감
• 손익 분기점: 일 요청 2천~3천 건 이상, 캐시 히트율 70% 이상일 때 의미 있는 절감 시작
• 캐싱만으로는 한계: 토큰 압축 병행 시 최대 60~70% 절감 가능
• 모델 선택도 변수: Haiku는 캐시 읽기가 $0.03/1M으로 Sonnet의 10% 수준

앞으로 6~12개월 안에 캐시 TTL 확장과 더 세밀한 캐시 블록 제어 기능이 나올 가능성이 높아요. 그 전에 지금 파이프라인에서 실제 캐시 히트율이 얼마인지 먼저 측정해보는 게 맞아요.

요청 로그에서 동일 컨텍스트 블록이 5분 내에 얼마나 반복되는지 뽑아보세요. 그 숫자가 40% 이상이면 지금 바로 캐싱 도입이 타당해요. 어떤 숫자가 나왔나요?

참고자료

1. [Claude] Claude API 요금제 & 비용 최적화 전략 (프롬프트 캐싱 활용법)
2. AI API 비용 절감하는 3가지 전략: 토큰 최적화로 수익성 극대화하기 - ProB AI 연구소
3. 💸 클로드 토큰, 이렇게 하면 60% 줄일 수 있습니다 — API 비용 최적화 완전 가이드

Photo by Bernd 📷 Dittrich on Unsplash