AI 챗봇을 믿고 산 등반하다 구조된 사건, 우리가 AI를 어디까지 믿어야 하나

캘리포니아 마운트 샤스타, 해발 4,322미터. 초보 등산객 세 명이 이 산에서 구조 신호를 보냈어요. 그들이 믿었던 건 구글 Gemini가 짜준 8시간짜리 등산 일정이었죠. 실제 소요 시간은 16시간이 넘었고, 결국 무릎 부상과 저체온증 위험 속에서 밤을 보내다 구조됐어요. AI 챗봇을 믿고 산에 올랐다가 조난된 사건—우리가 AI를 어디까지 믿어야 하는가, 이 질문이 2026년 지금 생각보다 훨씬 무거운 주제가 됐어요.

핵심 요약

• Jezebel 보도에 따르면, 마운트 샤스타에서 AI 안내를 따른 등반객 조난 사건이 두 건 이상 발생했으며, 폴란드 타트라 산맥과 캐나다 브리티시컬럼비아에서도 유사 사례가 확인됐어요.
• AI가 생성한 등산 계획은 실시간 적설량, 계절 폐쇄 구간, 지형 이동 속도를 반영하지 못해 구조적으로 위험해요.
• 미국 법원에서만 900건 이상의 AI 환각 사례가 확인됐고, 만성 백혈병 환자가 AI의 잘못된 연구 해석을 믿어 치료 적기를 놓친 사례도 있어요.
• AI는 틀렸을 때도 자신감 있는 어조로 답하기 때문에, 검증 능력이 낮은 사용자일수록 더 깊이 신뢰하는 역설이 생겨요.

AI 과신 사고는 왜 지금 급증하고 있을까요?

2024년부터 ChatGPT, Gemini, Claude 같은 대형 언어 모델이 폭발적으로 보급되면서 뭔가 바뀌었어요. 예전엔 구글에서 검색해서 여러 사이트를 직접 확인했다면, 이제는 AI한테 물어보고 그 답을 그대로 쓰는 사람들이 급격히 늘었죠. 편리함은 올라갔는데, 검증하는 습관은 오히려 줄어든 거예요.

AI포스트 보도에 따르면, 이 문제는 단순한 해프닝이 아니에요. 사망, 조난, 법적 처벌로 이어진 사례들이 이미 여러 건 쌓였어요. 물리적으로 눈에 보이는 영역에서도 과신 사고가 일어나고 있다는 게 주목할 지점이에요.

그런데 왜 지금일까요? AI 인터페이스 자체가 신뢰감을 주도록 설계돼 있어요. 깔끔한 문장, 자신감 있는 어조, 그럴듯한 구조—이게 사용자로 하여금 “이 정도면 맞겠지"라는 판단을 하게 만들어요. 문제는 AI가 틀린 답을 낼 때도 이 스타일이 그대로 유지된다는 거예요.

어디서, 어떻게 틀렸는가: 세 가지 사례 분석

마운트 샤스타 조난: 인풋의 실패인가, 모델의 실패인가?

루리웹 커뮤니티에서 재현 실험한 내용을 보면 흥미로운 결과가 나와요. “마운트 샤스타"를 명시해서 질문하면 Gemini도 2~3박 일정을 추천하고 정상 등반을 말려요. 조난된 팀은 목적지를 구체적으로 입력하지 않았을 가능성이 높아요. ChatGPT는 같은 조건에서 2박 3일 플랜을 내놓고 9월 날씨가 등반에 적합하지 않다는 경고까지 붙였고요.

그렇다고 사용자만 탓할 수 있을까요? 어려워요. 초보자는 어떤 정보를 넣어야 하는지 모르기 때문에 초보자인 거거든요. AI가 안전 관련 질문에서 “더 많은 정보가 필요합니다"라고 먼저 물어봐야 하는 이유가 바로 여기에 있어요.

Jezebel 보도에 따르면 별도의 사건에서 한 여성이 ChatGPT가 안내한 GPS 좌표를 따라 금지 구역에 캠핑했고, 또 다른 등반객은 AI가 만들어낸 완전히 가짜 지형 지도를 들고 산에 올랐어요. 존재하지 않는 등산로, 랜드마크, 지명이 그럴듯하게 그려져 있었죠.

백혈병 환자와 Perplexity AI: 가장 무거운 사례

예일 로스쿨 출신 변호사 Benjamin Riley의 아버지는 만성 림프구성 백혈병 진단을 받았어요. 담당 의사가 표준 치료를 권했지만, 아버지는 Perplexity AI가 찾아온 의학 논문 요약을 믿고 치료를 거부했죠. 문제는 AI가 해당 논문의 결론을 반대로 해석했다는 거예요. Riley가 직접 해당 연구진에 연락해서 오류를 문서로 증명했지만, 아버지는 이미 AI의 답을 믿기로 마음먹은 상태였어요.

AI포스트에 실린 Riley의 말이에요. “AI가 인지적 노력을 줄여준다는 핵심 가치가, 오히려 환자의 확증 편향을 강화하고 정당화하는 독이 됐다.” 상태가 치료 불가능한 수준까지 악화된 뒤에야 치료를 받아들였어요.

법원 서류에 들어간 가짜 판례

설리번 앤 크롬웰은 전 세계 900명 이상의 변호사를 둔 대형 로펌이에요. 이 회사가 미국 남부지구 파산법원에 제출한 서류에 가짜 판례 인용과 왜곡된 파산법 조항이 포함됐어요. 상대 법률팀이 발견했고, 사무소는 내부 검증 절차를 따르지 않았음을 인정하고 공식 사과문을 제출했어요. 단순한 실수가 아니에요—미국 법원에서만 AI 환각으로 인한 문제가 900건 이상 확인됐다는 배경이 있으니까요.

AI 모델별 신뢰도 비교: 어떤 챗봇이 더 안전한가요?

세 가지 주요 모델을 등산 계획 시나리오 기준으로 비교해볼게요.

루리웹 커뮤니티 재현 실험에서 ChatGPT는 9월 마운트 샤스타 등반에 대해 날씨 부적합 경고와 함께 2박 3일 플랜을 제안했어요. Gemini는 목적지를 명확히 지정했을 때와 안 했을 때 답이 크게 달라졌고요. 모델 자체의 차이도 있지만, 어떤 모델이든 실시간 정보를 반영하지 못한다는 구조적 한계는 공통이에요.

실전에서 이 정보를 어떻게 써야 할까요?

도메인별로 AI 신뢰 수준을 다르게 설정하세요.

• 고위험 도메인 (등산·의료·법률·금융): AI 답변을 1차 참고용으로만 쓰고, 반드시 공식 출처나 전문가 검토가 필요해요
• 중위험 도메인 (여행 일정·코딩 디버깅): AI 제안을 받되, 핵심 수치와 날짜는 별도 확인하세요
• 저위험 도메인 (글쓰기·브레인스토밍·요약): 상대적으로 자유롭게 써도 괜찮아요

등산 계획이라면 구체적으로 이렇게 하세요.

• AI에게 일정 초안을 받은 뒤, 국립공원 공식 사이트나 지역 산악 안전 당국에서 적설량·폐쇄 구간 확인
• 실제 소요 시간은 AI 추정치의 두 배를 기준으로 계획
• 경험 수준, 파티 규모, 장비 상태를 인풋에 명시—안 하면 AI는 평균적인 조건을 가정해요

앞으로 주시할 신호들:

• EU AI Act의 고위험 AI 사용 규정이 2026년 하반기부터 본격 적용되면, 의료·법률 도메인 AI 서비스에 강제 면책 고지가 붙을 수 있어요
• 미국에서 AI 환각으로 인한 피해 소송이 늘고 있어요. 플랫폼 책임 범위를 판가름하는 판례가 나오는 시기가 AI 신뢰 구조를 바꿀 분기점이 될 거예요

결론: AI는 도구예요, 판단자가 아니에요

이 질문에 대한 답은 생각보다 단순해요.

• AI는 실시간 정보를 모르고, 개인 상황을 반영하지 못하며, 틀려도 자신감 있게 말해요
• 검증 능력이 낮은 사용자일수록 AI를 더 믿는다는 구조적 역설이 있어요
• 도메인별로 신뢰 수위를 다르게 설정하는 게 현실적인 대응이에요

앞으로 6~12개월 안에 AI 책임 규정이 구체화되면서 플랫폼들이 고위험 도메인에서 면책 경고를 강화할 가능성이 높아요. 그 전까지는 사용자 스스로 판단해야 해요.

결국 AI가 얼마나 똑똑해지든 남는 질문은 하나예요. “이 답이 맞는지 확인할 수 있는 사람이 나인가?” 그게 안 된다면, AI 답변은 시작점이지 결론이 아닌 거예요.

참고자료

1. “AI 말만 믿었다가”…4000m 산속 조난부터 사망, 가짜 판례 제출까지 ‘과신 참사’ 잇따라 < 특집 AI < 기사본문 - AI포스트(AIPOST)
2. Foolish Climbers Keep Putting Their Lives in the Hands of AI. Guess How That Turns Out.
3. AI챗봇이 짜준 대로 등산하던 미국인들이 조난신호로 구조됨

Photo by Steve A Johnson on Unsplash