ChatGPT로 수학 난제 해결한 방법, 나도 제대로 쓰고 있는 건가

월 20달러짜리 구독으로 80년 묵은 수학 난제가 풀렸어요. 그런데 정작 본인은 ChatGPT에 수식 하나 물어봤다가 틀린 답 받고 포기한 적 있지 않으세요? 이게 단순히 “쓸 줄 몰라서"가 아니에요. 구조적인 문제가 있거든요.

핵심 요약

• 2026년 5월, OpenAI AI는 에르되시 평면 단위거리 문제를 단 20줄 프롬프트로 해결했어요 — 20줄이에요, 20페이지가 아니라
• VUB 연구팀은 월 20달러 ChatGPT 구독만으로 활성 수학 난제를 풀었고, 이 방법론을 “바이브 증명(vibe-proving)“이라 불러요
• 성공 사례의 공통점은 “생성 → 검증 → 수정” 3단계 루프를 인간이 주도했다는 거예요
• ChatGPT가 틀린 답을 내는 가장 큰 이유는 프롬프트가 아니라 검증 구조의 부재예요
• 현재 OpenAI의 차세대 모델 “Astra"는 10년 이상 미해결 수학 문제 10개를 추가로 풀었어요

1. 증상: 수식 물어봤더니 자신 있게 틀린 답을 줘요

ChatGPT에 수학 문제를 던지면 이런 일이 생겨요. 답을 줘요. 깔끔하게. LaTeX로 정리해서. 근데 계산이 틀렸거나, 중간 단계가 빠지거나, 역삼각함수 분기 처리가 잘못되어 있어요. 그런데 모델은 전혀 모르는 것처럼 설명을 이어가죠.

짜증스러운 수준이 아니에요. ZDNet Korea 보도에 따르면, VUB 연구팀이 ChatGPT-5.2로 수학 난제를 푸는 과정에서 AI가 생성한 초안에는 역삼각함수 분기 처리 오류, 부호 조건 누락, 중간 계산 단계 생략이 반복적으로 등장했어요. 전문가도 걸러야 했던 오류를, 검증 없이 그냥 받아쓰면? 그게 문제예요.

빠른 진단: ChatGPT 답변 직후 이렇게 물어보세요: “방금 답변에서 놓쳤거나 가정한 부분이 있으면 명시해줘. 특히 분기 조건이나 부호 처리.”

추가 조건이나 수정 사항이 나온다면 — 첫 답변은 불완전했던 거예요.

2. 가장 유력한 원인 3가지

원인 1: 검증 없이 결과만 받아쓰는 구조

확인 방법: ChatGPT 답변을 그대로 믿고 다음 단계로 넘어갔다면, 이게 원인이에요. 빠른 체크: 답변에서 “따라서”, “그러므로” 같은 결론 전환 표현 직전 단계를 다시 ChatGPT에 붙여넣고 “이 단계 계산이 맞아?“라고 물어보세요. 오류가 잡히면 확인된 거예요.

해결 방법:

프롬프트 구조:
1단계: "이 문제를 풀어줘: [문제]"
2단계: "방금 풀이의 각 단계가 논리적으로 타당한지 검토해줘"
3단계: "오류가 있다면 어디인지 구체적으로 지적하고 수정해줘"

VUB 연구팀이 arXiv 논문(arXiv:2602.18918)에서 “generate, referee, repair” 3단계 루프라고 부른 방식이에요. 이게 없으면 AI는 그냥 그럴듯한 텍스트를 만들 뿐이에요.

그런 건가요: ChatGPT는 수학적 진실을 계산하는 게 아니라, 수학적으로 그럴듯한 텍스트를 생성해요. 검증 단계 없이는 모델 스스로도 오류를 인식하지 못해요.

원인 2: 프롬프트가 너무 짧거나 맥락이 없어요

확인 방법: 프롬프트가 한 문장이었나요? 배경 없이 수식만 던졌나요? 그렇다면 이게 원인이에요. 연합뉴스 보도에 따르면, OpenAI 수학자 Mehtaab Sawhney와 Mark Sellke는 에르되시 문제 해결에 약 20줄의 입력을 썼어요. 단순 질문이 아니라 문제 구조, 접근 방향, 제약 조건이 담긴 프롬프트였죠.

해결 방법:

❌ 짧은 프롬프트:
"4×4 행렬의 고유값 범위 증명해줘"

✅ 구조화된 프롬프트:
"다음 조건을 가진 4×4 행렬이 있어:
 - [구체적인 행렬 구조 명시]
 - 목표: Ran and Teng (2024)의 Conjecture 20에서 정의한 고유값 범위 증명
 - 접근 방법: Dmitriev-Dynkin (1946) 삼각함수 방법을 적용 가능한지 먼저 확인해줘
 - 각 단계에서 가정한 조건을 명시해줘"

그런 건가요: 모델에게 맥락이 없으면 가장 일반적인 경우로 답해요. 특수한 문제일수록 배경 정보가 더 많이 필요해요.

원인 3: 모델이 틀렸는데 틀렸다고 말 안 해요

확인 방법: “이 접근법이 맞는지 모르겠다"거나 “불확실하다"는 표현 없이 답변이 왔나요? ChatGPT-5.2 Thinking 모드가 아닌 기본 모드를 쓰고 있나요? 같은 질문을 ChatGPT에 두 번 보내보세요. 답이 다르게 나오면, 모델도 확신이 없는 거예요.

해결 방법:

프롬프트 끝에 반드시 추가:
"답변에 불확실한 부분이 있으면 명시해줘.
특히 분기 조건, 부호 처리, 생략된 중간 단계가 있으면 표시해줘.
확신하지 못하는 단계에는 [불확실] 태그를 붙여줘."

VUB 팀이 발견한 주요 오류 유형이 역삼각함수 분기 및 사분면 처리, 부호 조건 누락이었어요. 이 두 가지만 명시적으로 검토 요청해도 오류 탐지율이 크게 달라져요.

그런 건가요: 기본 모드의 ChatGPT는 “모른다"고 말하도록 훈련되어 있지 않아요. 명시적으로 불확실성 표시를 요청해야 해요.

3. 덜 유력하지만 확인해볼 것들

• 모델 버전 문제: ChatGPT-5.2 Thinking 모드와 기본 GPT-4o는 수학 추론 능력이 달라요. 설정에서 모델 버전 확인해보세요.
• 대화 컨텍스트 누적: 긴 대화 중간에 수학 문제를 넣으면 앞 맥락이 모델 판단에 영향을 줄 수 있어요. 새 대화창에서 시작해보세요.
• 언어 혼용: 한국어로 묻고 수식을 영어로 섞으면 처리 품질이 낮아질 수 있어요. 수식은 LaTeX로 통일하고 언어는 하나로 고정해보세요.
• 문제 자체가 모델 한계를 넘은 경우: 파이낸셜뉴스 보도에 따르면 OpenAI의 내부 테스트 중인 “Astra"가 10년 이상 미해결 난제 10개를 풀었어요 — 아직 일반에 공개된 모델은 아니에요.

4. 그래도 안 된다면

OpenAI 공식 커뮤니티 포럼 (community.openai.com)의 #math-reasoning 태그로 질문해보세요. 아니면 arXiv에서 “vibe-proving” 관련 논문 저자들이 GitHub에 공개한 대화 스레드를 직접 참고하는 것도 방법이에요.

질문할 때 꼭 포함해야 할 것들:

• 사용한 모델 버전 (GPT-4o, ChatGPT-5.2 Thinking 등)
• 프롬프트 전문 (요약 말고 그대로)
• 모델이 낸 답변과 어디서 틀렸다고 판단했는지
• 이미 시도한 수정 방법

공식 문서는 OpenAI Math Reasoning 가이드에서 확인하세요.

5. 다음번엔 이렇게 미리 막아요

“generate → referee → repair” 루프를 기본값으로 만들어두세요.

ChatGPT Custom Instructions에 이걸 설정해두면 돼요:

수학 관련 질문에 답할 때:
1. 풀이 제시
2. 불확실한 단계에 [?] 태그 표시
3. 역삼각함수, 부호 조건, 분기 처리 별도 검토

VUB 연구팀이 대화 7개, 초안 4개를 거쳐 논문을 완성했듯, 첫 답변을 완성품으로 보지 않는 습관이 핵심이에요. AI가 80년 묵은 난제를 풀 수 있는 시대지만 — 그게 자동으로 되는 건 아니에요. 검증하는 인간이 있어야 가능한 거예요.

“나도 제대로 쓰고 있는 건가"라는 질문의 답은 결국 하나예요. 루프를 돌리고 있나요? 지금 당장 Custom Instructions 설정해보세요. 다음 수식 질문부터 달라질 거예요.

Photo by Microsoft Copilot on Unsplash