OpenAI 수학 문제 논란, AI가 학계 연구를 허락 없이 쓴다는 게 무슨 말인가
수학계가 흔들리고 있어요. 그것도 아주 근본적인 방식으로.
2026년 9월, OpenAI는 AI가 100년 넘게 풀리지 않았던 나비에-스토크스 방정식을 풀었다고 발표했어요. 밀레니엄 난제 중 하나, 상금만 100만 달러짜리예요. 그런데 이 발표가 나오자마자 NYU의 수학자 한 명이 이렇게 말했죠. “내 미발표 연구가 거기 들어가 있는 것 같다.”
핵심 요약
- OpenAI는 2026년 9월 8일 GPT-6 Astra 이상 모델 기반 AI 에이전트 1만 개를 88시간 동안 가동해 나비에-스토크스 방정식 풀이를 생성했다고 발표했어요.
- NYU 수학자 Tristan Buckmaster는 이 풀이가 자신의 미발표 연구 방향과 일치한다며 무단 데이터 접근 가능성을 제기했고, OpenAI 최고연구책임자 Mark Chen은 “비식별화된 사용 데이터 영향을 완전히 배제할 수 없다"고 인정했어요.
- OpenAI는 총 722편의 AI 생성 수학 논문을 GitHub에 공개했고, 이 중 372개 결과 클러스터가 대수학부터 위상수학까지 다섯 개 밀레니엄 난제 중 세 개에 걸쳐 분포해요.
- 25명의 필즈 메달 수상자들이 공개 서한을 발표해 AI의 수학 연구 방식이 학문 자체를 훼손한다고 경고했어요.
- 프린스턴 고등연구소 산하 자문 그룹 AGMAI는 미발표 난제에 대한 독점 AI 모델 벤치마킹을 중단하라고 공식 권고했지만, OpenAI는 이를 거부했어요.
어떻게 여기까지 왔을까요?
발단은 경쟁이었어요. 그것도 꽤 노골적인.
AI타임스 보도에 따르면, OpenAI는 2026년 9월 1일 Anthropic 연구자들이 밀레니엄 난제 두 개를 풀었다는 소문을 들은 직후 본격적인 수학 에이전트 실험에 착수했어요. 소문이 트리거였던 거예요.
그 결과물이 9월 8일 나왔어요. AI 에이전트 1만 개가 88시간 동안 270만 개의 메시지를 주고받으며 1,300억 토큰 분량의 출력을 생성했고, 그게 나비에-스토크스 풀이로 이어졌다는 거예요. OpenAI는 이 과정을 “거대한 가상 연구 조직을 운영한 것"이라고 표현했어요.
한 달 뒤 10월엔 동아일보가 보도한 것처럼 수학 논문 722편을 GitHub에 무더기로 공개했어요. 약 4,000개의 연구 문제를 모델에 넣었고, 논문 하나당 평균 3시간의 연산이 걸렸다고 해요. 일부는 Lean이라는 형식 언어로 증명 검증 데이터도 포함했는데, 전부 검증된 건 아니라는 점도 스스로 인정했어요.
문제는 이 모든 일이 진행되는 동안 학계와의 소통이 전혀 없었다는 거예요.
핵심 쟁점 세 가지
첫 번째: “내 연구가 거기 들어갔다"는 주장
Tristan Buckmaster는 NYU 수학과 교수예요. 그는 OpenAI의 나비에-스토크스 풀이가 “강제된(forced)” 방정식 접근법을 썼다는 점에 주목했어요. 바로 자신이 AI 도구를 써서 연구하던 방향이었거든요.
우연의 일치가 아닐 수 있는 이유가 있어요. Buckmaster는 OpenAI의 Codex 세션에서 자신의 미발표 초안을 업로드한 적이 있었으니까요. OpenAI는 의도적 접근을 부인했어요. 그런데 최고연구책임자 Mark Chen이 남긴 말이 의미심장해요. “비식별화된 제품 사용 데이터가 모델 개선에 영향을 미쳤을 가능성을 완전히 배제할 수 없다.”
완전히 배제할 수 없다. 이게 사실상의 인정이에요.
두 번째: “인간도 이해 못 하는 증명이 증명인가?”
싱글리스트 보도에 따르면 프린스턴 고등연구소는 “AI가 생성한 수학적 논증을 프롬프트를 입력한 인간조차 이해하거나 검증할 수 없다"는 점을 공식 경고로 내놨어요.
수학에서 증명의 가치는 다른 수학자가 따라가며 납득할 수 있다는 데 있어요. 검증 가능성이 수학 자체의 언어예요. AI가 Lean으로 형식 검증을 했다고 해도, 그 내부 논리를 인간이 해석하지 못한다면 그게 “수학적 이해"인지는 진지하게 물어야 해요.
러트거스대 Alex Kontorovich 석좌교수는 AI가 내놓은 준-리만 가설 증명에 대해 “인간이 냈다면 당장 필즈 메달을 받았을 수준"이라고 했어요. 그런데 바로 그 수준이 인간의 이해를 벗어날 수 있다는 거예요. 역설적이죠.
세 번째: 선점 경쟁이 학계를 망가뜨리고 있다
OpenAI의 대량 공개 소식이 나오자마자 수학자들이 자신의 논문을 서둘러 발표하기 시작했어요. AI가 먼저 풀어버릴까봐. 25명의 필즈 메달 수상자들은 공개 서한에서 이게 수학이라는 학문의 본질을 훼손한다고 경고했어요.
수학은 원래 느린 학문이에요. 아이디어를 오래 갖고, 동료들과 검토하고, 조금씩 발전시키죠. AI 경쟁이 이 리듬을 완전히 깨버리고 있어요.
AI 생성 증명 vs. 인간 주도 연구: 무엇이 다른가
| 기준 | AI 생성 증명 (OpenAI 방식) | 인간 주도 수학 연구 |
|---|---|---|
| 검증 가능성 | 형식 언어(Lean) 기계 검증 — 인간 해석은 제한적 | 동료 수학자의 직접 검토 |
| 기여자 식별 | 불명확 (학습 데이터 영향 불투명) | 명확한 저자 귀속 |
| 속도 | 88시간, 1만 에이전트 | 수년~수십 년 |
| 재현성 | 연산 자원 있으면 반복 가능 | 인간 역량 의존 |
| 학문적 가치 | 논쟁 중 | 확립된 기준 존재 |
| 투명성 | 모델 미공개, 학습 데이터 불명 | 과정 추적 가능 |
AI 방식이 속도 면에서 압도적인 건 맞아요. 그런데 속도가 전부가 아닌 분야가 있어요. 수학이 바로 그 분야예요. 누가 어떻게 풀었는지, 왜 그 방향을 택했는지가 결과만큼 중요해요. 지식의 축적이 거기서 이뤄지니까요.
이 논란이 실제로 가져올 파장
연구자들에게: 미발표 연구를 AI 도구에 올리는 행위 자체를 다시 생각해야 해요. OpenAI가 “의도하지 않았다"고 해도, 비식별화된 사용 데이터가 모델에 영향을 준다는 건 이미 인정된 사실이에요. 미발표 아이디어를 ChatGPT나 Copilot 세션에 입력하는 순간, 그 아이디어의 일부는 어떤 방식으로든 시스템에 남아요.
AI 기업들에게: AGMAI의 권고처럼 미공개 모델로 학계 미해결 문제를 벤치마킹하는 방식은 점점 더 강한 저항에 부딪힐 거예요. OpenAI는 지금 독립 자문단을 꾸렸지만, “중단 요구는 거부한다"는 입장을 고수하고 있어요. 규제 논의가 시작될 가능성이 높아요.
앞으로 주시해야 할 것들:
- 나비에-스토크스 풀이에 대한 외부 수학자들의 공식 검증 결과 (현재까지 미완료)
- Buckmaster vs. OpenAI 사이의 저작권·귀속 논쟁이 법적 분쟁으로 이어질 가능성
- AI 생성 수학 결과에 대한 학술지들의 심사 기준 변화
결국 어떤 질문이 남나요?
- 이번 논란의 핵심은 속도와 투명성의 충돌이에요.
- AI가 학계 연구를 “허락 없이 썼다"는 주장은 단순한 표절 이야기가 아니에요. 비식별화된 데이터 활용 방식 전체에 대한 질문이에요.
- 722편의 논문 공개는 학문 세계에서 선점 경쟁의 규칙 자체를 바꿔버렸어요.
- 검증 불가능한 AI 증명을 수학적 지식으로 볼 수 있는지, 아직 답이 없어요.
앞으로 6~12개월 안에 나비에-스토크스 풀이에 대한 외부 검증 결과가 나올 거예요. 만약 독립 수학자들이 그 증명을 따라갈 수 없다고 결론 낸다면, 이 논란은 기술과 학문의 경계를 어디에 그을 것인지에 대한 훨씬 큰 싸움의 시작점이 될 거예요.
결국 이 질문의 답은 우리가 “지식"이라는 단어를 어떻게 정의하느냐에 달려 있어요. 기계가 낸 답도 지식인가요? 그 답을 아무도 따라가지 못해도요?
Photo by Steve A Johnson on Unsplash
