마인크래프트로 AI 성능 테스트, 이게 실제 AI 한계를 보여주는 이유: 성공률 2.5%의 진실

다이아몬드 곡괭이 하나를 못 만드는 AI. 성공률 2.5%. 이게 2026년 최첨단 AI의 현주소예요.

마인크래프트는 그냥 게임이 아니에요. AI 연구자들 사이에서 “진짜 테스트"로 통해요. 체스나 바둑처럼 규칙이 고정돼 있지 않고, 수십 단계 계획을 세워야 하고, 실패에서 배워야 하거든요. 2026년 현재, 여기서 나오는 데이터들이 실제 업무 현장의 AI 성능과 놀랍도록 맞아떨어지고 있어요.

핵심 요약

• OpenAI의 VPT 모델은 7만 시간 학습 데이터를 써도 다이아몬드 곡괭이 제작 성공률이 2.5%에 불과해요. AI의 장기 계획 능력 부재를 보여주는 숫자죠.
• CraftJarvis 팀의 JARVIS-1은 GPT-4를 써서 6%까지 올렸지만, 여전히 100번 중 94번은 실패해요.
• DevOps-Gym 벤치마크에 따르면, 실제 개발 작업에서 AI 에이전트의 엔드투엔드 완료율은 **0%**예요 — 30개 이상의 실제 프로젝트에서.
• 마인크래프트 AI 연구와 실제 코딩 에이전트 실패 패턴은 공통된 근본 원인을 가리켜요: 다단계 추론 실패.
• 2026년 지금, AI 도구를 “조수” 대신 “자율 실행자"로 쓰려는 시도가 가장 빠르게 무너지는 영역이 바로 복합 작업이에요.

AI 한계를 테스트하려면 왜 마인크래프트인가

AI가 체스나 바둑에서 인간을 이긴 건 꽤 됐어요. 근데 그건 다른 종류의 문제예요.

체스는 규칙이 고정돼 있고, 목표가 단 하나예요. 반면 마인크래프트는 목표 자체를 AI가 잡아야 해요. “나무를 찾아 도끼를 만들고, 돌을 캐서 곡괭이를 업그레이드하고, 철광석을 제련하고, 다이아몬드를 찾아라” — 이 순서를 스스로 이해하고 실행해야 하죠.

CraftJarvis 팀의 연구에 따르면 마인크래프트가 AI에게 특히 어려운 이유는 세 가지예요.

첫째, 라벨 없는 데이터 문제. 게임 플레이 영상은 넘쳐나지만, 어느 순간에 어떤 버튼을 눌렀는지 기록된 데이터가 없어요. OpenAI의 VPT는 이 문제를 해결하려고 2,000시간의 라벨 데이터로 모델을 훈련해 7만 시간 영상에 자동으로 라벨을 붙였어요. 그 막대한 노력의 결과가 성공률 2.5%였고요.

둘째, 순서가 없는 오픈 샌드박스 구조. 다음에 뭘 해야 하는지 알려주는 시스템이 없어요. AI가 스스로 우선순위를 판단해야 해요.

셋째, 장기 기억 요구. 어제 캔 철광석 위치, 아직 못 한 제련 작업 — 모두 기억하면서 지금 행동을 결정해야 해요.

이 세 조건이 겹치면 현재 AI가 어떻게 무너지는지 정확히 보여줘요. 그리고 이건 게임 얘기만이 아니에요.

마인크래프트 데이터가 실제 업무 AI 실패와 겹치는 이유

2026년에 발표된 DevOps-Gym 벤치마크는 마인크래프트 AI 연구의 거울 이미지예요.

미국과 싱가포르 대학 연구팀이 GitHub에서 실제 이슈를 모아 30개 이상 프로젝트에서 700개 이상의 작업을 만들었어요. 그리고 실제 AI 코딩 에이전트를 투입했죠.

결과는 이랬어요.

엔드투엔드 작업, 즉 여러 단계를 순서대로 완성해야 하는 작업에서 모든 모델이 0점이에요. 단 하나의 에이전트도 전체 파이프라인을 완료하지 못했어요.

AI매터스 보도에 따르면 실패 원인 분석도 나왔어요.

• 37% — 빌드 시스템 같은 도메인 지식 부족
• 33% — 도구에 접근하지 못하거나 아예 안 씀
• 23% — 다단계 추론 연결 실패

마인크래프트에서 “나무 → 도끼 → 돌 → 곡괭이” 순서를 완성하지 못하는 것과 “코드 작성 → 빌드 → 테스트 → 배포” 파이프라인을 완성하지 못하는 것, 본질적으로 같은 문제예요.

파이썬만 잘하는 AI의 함정

한 가지 더 봐야 할 데이터가 있어요.

Python 기반 벤치마크인 SWE-Bench에서 OpenHands + Claude 4 조합은 70.4%를 기록했어요. 근데 Java/Go 기반 실제 프로젝트로 바꾸자 23.87%로 떨어졌어요. 세 배 가까이 내려간 거죠.

이유는 훈련 데이터 편향이에요. AI는 Python 코드를 압도적으로 많이 봤고, Maven이나 Gradle 같은 빌드 도구는 상대적으로 적게 봤어요. 마인크래프트로 따지면 “나무 다루기는 잘하는데 용광로 제련은 한 번도 안 해봤다"는 상황이에요.

마인크래프트 AI 연구의 최전선: CraftJarvis 성과 비교

CraftJarvis 팀 연구에서 나온 주요 모델들이 어떻게 다른지 보면 방향이 보여요.

JARVIS-1이 6%를 달성한 건 “성공한 경험을 저장하고 재활용"하는 메모리 구조 덕분이에요. 실패에서 조금씩 배우는 거죠. 그런데 여전히 100번 중 94번은 실패해요. GPT-4 품질이 올라갈수록 성능이 올라간다는 점에서, 지금 AI 한계는 LLM의 추론 능력 자체와 직결돼요.

지금 어떻게 봐야 하는가: 세 가지 현장 시사점

개발팀이라면 — AI 코딩 에이전트를 단계별 작업에는 꽤 쓸 수 있어요. 버그 하나 수정, 테스트 케이스 하나 생성. 그런데 “전체 기능을 알아서 만들어줘"는 아직 위험한 기대예요. DevOps-Gym 데이터가 보여주듯, 전체 파이프라인 완료율은 0%거든요.

AI 도구 평가자라면 — 벤치마크 숫자를 볼 때 “어떤 언어로, 어떤 작업 유형을 테스트했는지” 꼭 확인해야 해요. Python SWE-Bench 70%와 Java/Go 실제 작업 23%는 같은 모델이에요.

마인크래프트 AI 연구에 관심 있는 분들에게 — Decart의 Mirage처럼 비주얼 스타일 변환이나 이미지에서 플레이어블 월드를 만드는 쪽은 결이 달라요. “AI가 게임을 플레이하는 능력"이 아니라 “AI가 콘텐츠를 생성하는 능력"이고, 훨씬 더 빠르게 발전 중이에요. 헷갈리면 안 되는 두 방향이죠.

앞으로 6~12개월, 뭘 지켜봐야 하는가

마인크래프트로 AI 성능을 테스트하는 이유가, 실제 AI 한계를 보여주는 이유와 완벽히 겹친다는 걸 데이터가 반복해서 말해줘요.

• 6% — JARVIS-1의 다이아몬드 성공률. 인상적인 도약이지만, 여전히 거의 대부분 실패해요.
• 0% — 실제 개발 작업 엔드투엔드 완료율. 숫자가 명확해요.
• 세 배 차이 — 익숙한 환경과 낯선 환경 사이의 성능 격차.

앞으로 주목해야 할 신호는 두 가지예요. 하나는 OmniJARVIS처럼 계획과 실행을 하나로 합친 모델들이 실제로 성공률을 두 자릿수로 올릴 수 있는지. 다른 하나는 DevOps 벤치마크에서 누군가 엔드투엔드 0%를 처음으로 깨는 모델을 내놓는지예요.

마인크래프트 다이아몬드 한 개. 이게 뚫리는 날, AI 에이전트 신뢰도 기준도 달라질 거예요. 지금은 아직 그 전이에요.

Photo by Igor Omilaev on Unsplash