AI가 범죄에 이용됐다, 내가 쓰는 챗봇도 위험한가: 대화 기록과 수사 활용 현실

챗봇에 “수면제와 술을 함께 먹으면 어떻게 되나요?“라고 물어본 적 있나요? 아무 생각 없이 검색하듯 입력했을 텐데, 그 대화가 나중에 법정 증거로 쓰일 수 있어요. AI가 범죄에 이용됐다는 사건이 잇따르면서 “내가 쓰는 챗봇도 위험한가"라는 질문이 더 이상 SF가 아닌 현실이 됐어요.
핵심 요약
- 미국 법원 기록에서 AI 챗봇 대화가 법적 증거로 활용된 사례가 최소 12건 확인됐어요.
- 한국에서도 ChatGPT 검색 내역이 살인죄 ‘미필적 고의’ 입증에 결정적 증거로 쓰인 사건이 이미 발생했어요.
- Anthropic Claude와 ChatGPT는 모두 위협적 콘텐츠를 감지해 수사기관에 직접 신고하는 자동화 시스템을 운영 중이에요.
- 챗봇 대화는 법적·기술적으로 비밀이 보장되지 않으며, 주요 AI 기업의 개인정보 처리방침은 모두 비상 상황 시 정보 공유를 허용하고 있어요.
AI 챗봇 대화, 왜 갑자기 수사 무대에 올랐나
사건의 발단은 생각보다 단순해요.
사람들이 챗봇을 일기장처럼 쓰기 시작했거든요. AI타임스 보도에 따르면, 2026년 9월 미국 플로리다 거주 30대 여성 Carly Michelle Heller는 Claude에 “지금 당장 경찰서를 쏘겠다”, “오늘 새 총을 샀다. 이게 마지막 기회다"라고 입력했어요. 본인은 일기를 쓰듯 적었다고 했지만, Claude의 자동 안전 감지 시스템이 이걸 실시간으로 포착했어요.
그게 끝이 아니에요.
투데이신문 보도를 보면, 한국에서는 2024년 12월부터 2025년 1월 사이 세 명의 20대 남성에게 벤조디아제핀계 약물을 음료에 타 2명을 사망케 한 20대 여성 김모씨 사건에서 경찰이 ChatGPT 검색 내역을 핵심 증거로 활용했어요. 김씨는 범행 전 챗봇에 “수면제와 술을 함께 먹으면 어떤가”, “얼마나 먹으면 위험한가”, “죽을 수도 있나"를 반복 입력했어요. 이 기록이 단순 상해치사 혐의를 살인죄로 바꾸는 데 결정적이었죠.
미국에서도 비슷한 패턴이 나와요. LA 팰리세이즈 산불 방화 수사에서 용의자가 911 신고 직전 ChatGPT에 “담배로 불이 나면 과실 책임이 있나"라고 질문한 기록이 형사 고소장에 포함됐어요. 사망자만 12명이 나온 화재 사건이에요.
지금까지 미국 법원 기록에서 AI 챗봇 대화가 증거로 등장한 건 최소 열두 건. 그 수는 계속 늘고 있어요.
AI 챗봇의 세 가지 얼굴: 일기장, 감시자, 증인
감지 시스템은 어떻게 작동하나
Anthropic과 OpenAI는 모두 계층형 감지 시스템을 운영해요. 먼저 알고리즘이 위험 신호를 자동으로 잡아내고, 그다음 사람이 실제 위협인지 판단하는 구조예요.
네이트 뉴스 보도에 따르면, Heller 사건에서 Claude가 위협을 감지한 뒤 Anthropic 내부 검토자가 이를 확인하고 수사기관에 직접 신고했어요. AI가 혼자 경찰을 부른 게 아니라, AI + 사람의 2단계 과정이었던 거예요. 그렇다고 안심할 수는 없어요. Anthropic의 개인정보 처리방침은 “사망 또는 심각한 신체적 위해가 발생할 수 있는 비상 상황"에서 사용자 데이터 공유를 명시적으로 허용하고 있거든요.
대화 기록은 얼마나 오래 남나
ChatGPT의 경우 대화 기록이 약 30일 후 자동 삭제돼요. 문제는 그 30일 안에 수사가 시작되면 얼마든지 열람 가능하다는 거예요. 전문가들은 이 구조가 텔레그램 범죄 악용과 유사한 문제로 이어질 수 있다고 경고해요. 범죄자들이 의도적으로 기록 삭제 타이밍을 계산할 수 있다는 거예요.
ChatGPT는 독살 계획도 도왔나
AI타임스와 ZDNet Korea, IT조선 보도에 따르면, 아내가 ChatGPT를 써서 남편을 독살하려는 계획을 세웠다는 혐의로 OpenAI가 소송을 당했어요. AI가 단순히 정보를 제공하는 수준을 넘어, 범죄 계획 수립 자체에 도구로 쓰였다는 의혹이에요. OpenAI는 현재 브리티시컬럼비아주와 플로리다주에서 안전 프로토콜 우회 관련 민형사 조사를 받고 있어요.
비교: 주요 AI 챗봇의 개인정보 및 안전 정책
| 항목 | Anthropic Claude | OpenAI ChatGPT |
|---|---|---|
| 위협 감지 방식 | 알고리즘 + 인간 검토 | 알고리즘 + 인간 검토 |
| 비상 시 정보 공유 | 명시적 허용 (약관 명기) | 허용 (약관 명기) |
| 대화 기록 보존 | 별도 명시 없음 | 약 30일 후 자동 삭제 |
| 법적 증거 사용 사례 | 최소 2건 (미국) | 복수 건 (미국·한국) |
| 현재 법적 이슈 | Heller 사건 1차 선례 | BC·플로리다 형사 조사 중 |
| 사용자 익명성 보장 | 비상 시 신원 공유 가능 | 비상 시 신원 공유 가능 |
두 회사 모두 구조는 거의 같아요. 차이가 있다면 OpenAI는 현재 진행 중인 법적 조사가 더 많다는 점, Anthropic은 Heller 사건을 통해 신고 → 체포까지 이어진 최초 선례를 만들었다는 점 정도예요.
국제인공지능윤리협회 전창배 이사장은 AI 대화 기록을 통화 내역이나 카카오톡과 동일한 차원에서 취급해야 하며, 법원 영장 같은 적법 절차 없이는 수집 자체가 문제라고 지적했어요. 현행법상 명확한 기준이 없다는 게 더 큰 문제고요.
그래서 지금 우리가 해야 할 것들
일반 사용자라면, 챗봇을 진짜 일기장처럼 쓰는 습관부터 점검해야 해요. 감정적으로 흥분한 상태에서 위협적인 표현을 입력하면, 의도와 무관하게 시스템이 감지할 수 있어요. “이 대화가 나중에 보여도 괜찮은가?“라는 질문 하나는 머릿속에 가지고 있어야 해요.
개발자와 기업이라면, 사용자에게 개인정보 처리방침을 더 명확하게 고지해야 할 시점이에요. “비상 시 정보 공유 가능"이라는 조항이 약관 깊숙이 묻혀 있으면 사용자는 모를 수밖에 없거든요.
지켜봐야 할 신호 세 가지:
- 한국에서 챗봇 대화 기록에 대한 영장주의 적용 여부 판례가 나오는 시점
- OpenAI 플로리다·BC 조사 결과 (2027년 상반기 예상)
- 국내 AI 기본법 개정 과정에서 챗봇 대화의 법적 지위 논의 포함 여부
챗봇은 일기장이 아니에요
AI가 범죄에 이용됐다는 사건들이 보여주는 건, 단순한 보안 위협이 아니에요. 우리가 AI에 얼마나 무방비 상태로 솔직해졌는지를 보여주는 거예요.
지금 필요한 건 챗봇을 쓰지 말자는 게 아니에요. 다만 “내가 쓰는 챗봇도 위험한가"라는 질문에 스스로 답할 수 있어야 해요. 대화창은 열려 있지만, 그게 사적인 공간이라는 보장은 없어요.
앞으로 6~12개월 안에 주요 AI 기업들은 안전 감지 시스템을 더 정교하게 만들 거예요. 그 말은 감지 범위가 더 넓어진다는 뜻이기도 해요. 법과 기술이 함께 따라가지 않으면, 사용자는 자신도 모르는 사이 가장 솔직한 공간에서 가장 큰 위험을 감수하게 될 거예요.
챗봇에 무엇을 말할지, 이제는 조금 더 생각해볼 때예요.
참고자료
- “아내가 챗GPT로 남편 독살 계획”…오픈AI 피소 < 산업일반 < AI산업 < 기사본문 - AI타임스
- [AI는 지금] “챗GPT가 독살 도왔다”…오픈AI 피소 - ZDNet korea
- “챗GPT가 남편 독살 계획 도왔다”… 오픈AI 상대 소송 < 일반 < 컴퓨팅·AI < 기사본문 - IT조선
Photo by Steve A Johnson on Unsplash


