AI 채팅에 비밀번호 붙여넣다가 유출될 수 있나, 실제 위험성과 경로 정리

업무 중에 ChatGPT 창에 접속 정보를 복사해 붙여넣어 본 적 있지 않으세요? 그 정보가 어디로 가는지 아는 사람은 생각보다 적어요.
2023년 삼성전자에서 실제로 벌어진 일이에요. 반도체 엔지니어들이 소스코드와 회의록을 ChatGPT에 입력했고, 20일 사이에 세 번의 기밀 유출이 발생했어요. 이후 삼성은 전사 AI 사용을 금지했죠. 비슷한 사건은 2026년 현재에도 계속 이어지고 있어요.
핵심 요약
- Cyberhaven 2024 리포트에 따르면, 직원의 11%가 ChatGPT에 회사 데이터를 입력했고 이 중 3.1%는 기밀 정보였어요.
- 무료 ChatGPT는 기본값으로 학습 데이터에 입력 내용을 포함시키며, 삭제 요청 후에도 모델 가중치에서 완전히 제거되지 않아요.
- 2026년 3월 기준, Gemini 무료 버전은 입력 데이터를 최대 18개월간 보유해요.
- 한국 개인정보보호법상 고객 정보를 무단으로 외부 AI에 입력하면 최대 5,000만 원 과태료가 부과될 수 있어요.
- 비밀번호·API 키 같은 자격증명 정보는 GitHub 공개 저장소에 올라가는 순간 수분 내 자동 봇에 탐지돼요.
실제로 무슨 일이 일어나나: 입력 데이터의 여정
AI 채팅창에 텍스트를 붙여넣으면 어디로 갈까요?
먼저 해당 AI 서비스의 서버로 전송돼요. 여기까지는 당연해요. 그런데 무료 플랜을 쓰고 있다면 그 내용이 모델 재학습 데이터로 쌓일 수 있어요. ChatGPT 무료 버전은 기본 설정으로 학습이 켜져 있고, Gemini 무료 버전은 입력 데이터를 최대 18개월간 보유해요.
더 무서운 건 삭제가 사실상 불완전하다는 거예요. 텍스트가 모델 가중치에 녹아들어 간 뒤에는, 대화 기록을 지워도 AI가 그 패턴을 “기억"하는 상태가 유지돼요. “메모리 추출 공격(memorization extraction attack)“이라는 방법을 쓰면 연구자들이 AI에게 반복 질문을 던져 학습 데이터를 역으로 끄집어낼 수 있다는 사실도 이미 학계에서 증명됐어요.
서드파티 플러그인을 연동해서 쓴다면 위험은 한 겹 더 쌓여요. 메인 AI 사업자 말고도 플러그인 개발사 서버로 데이터가 추가 전송되거든요. 비밀번호를 그 경로에 붙여넣으면 경유지가 최소 두 곳이 되는 거예요.
2026년에는 Kakao와 Naver가 에이전틱 AI 환경에서 외부 무단 접근을 허용하는 보안 취약점이 발견된 특정 AI 에이전트 도구의 사내 사용을 금지했어요. AI가 자율적으로 작업을 처리하는 에이전트 모드로 넘어갈수록, 자격증명 정보가 흘러들어 갈 수 있는 경로도 훨씬 늘어나고 있어요.
플랫폼별 보안 수준 비교: 어디에 뭘 입력해야 하나
2026년 3월 기준 플랫폼 비교를 한눈에 보면 이래요.
| 플랫폼 | 학습 기본값 | 데이터 보유 기간 | 관리자 제어 | 비밀번호 입력 시 |
|---|---|---|---|---|
| ChatGPT 무료 | 학습 ON | 미명시 | 없음 | 위험 |
| ChatGPT Plus/Team | 학습 OFF | 미명시 | 제한적 | 주의 |
| ChatGPT Enterprise | 학습 제외 | 계약 기준 | 완전 통제 | 비교적 안전 |
| Claude Pro | 학습 OFF | 90일 후 삭제 | 부분 | 주의 |
| Gemini 무료 | 학습 ON | 최대 18개월 | 없음 | 위험 |
표만 보면 ChatGPT Enterprise나 Claude Pro가 상대적으로 낫지만, “비교적 안전"이지 “완전히 안전"하다는 뜻은 아니에요. 비밀번호나 API 키처럼 단 한 번 유출로도 치명적인 정보는 어떤 플랜이든 AI 창에 입력하면 안 돼요. 플랫폼 문제가 아니라 행동 습관의 문제예요.
API 키와 비밀번호, 각각의 위험 경로
비밀번호 유출과 API 키 유출은 위험 경로가 달라요.
비밀번호의 경우: 주로 AI 학습 데이터로 흘러들어 가거나, 서드파티 경유로 외부 서버에 저장될 수 있어요. 직접적인 계정 탈취로 이어지려면 추가 단계가 필요해서 즉각적인 위험도는 상대적으로 낮은 편이에요. 하지만 그 AI 서비스가 나중에 보안 침해를 당하면 이야기가 달라지죠.
API 키의 경우: 훨씬 직접적이에요. 중소기업 AI 보안 가이드에 따르면 GitHub 공개 저장소에 API 키가 포함된 코드를 올리는 순간, 자동 스캔 봇이 수분 내에 탐지하고 악용할 수 있어요. 하룻밤 사이에 수백만 원 과금 피해가 발생한 사례도 보고돼 있어요. AI 채팅창에 “이 API 키로 디버깅 도와줘” 하고 붙여넣는 건, 그 대화 기록이 조금이라도 외부로 나가는 순간 같은 결과로 이어질 수 있어요.
주요 유출 경로를 정리하면 이래요:
- 프론트엔드 소스코드에 하드코딩
- Slack·Notion 등 협업 툴 공유 문서
- AI 채팅 대화 기록
- 퇴사자가 접근 가능한 환경
같은 가이드는 최소 분기에 한 번씩 키를 교체하고, 용도별로 키를 분리해 관리할 것을 권고해요.
직접 써먹을 수 있는 대응법
개인 사용자라면:
가장 먼저 할 일은 AI 서비스 설정에서 “대화 내용을 학습에 사용” 옵션을 끄는 거예요. ChatGPT 기준으로는 설정 → 데이터 제어 → “모든 사람의 ChatGPT 개선에 기여” 토글을 끄면 돼요. Claude Pro는 기본적으로 학습이 꺼져 있어요.
다음은 마스킹 습관이에요. 실제 비밀번호나 계정 정보 대신 [비밀번호], [API_KEY], [사용자명] 같은 플레이스홀더로 바꿔서 질문을 작성하는 거예요. 구조적인 도움은 받을 수 있고, 실제 자격증명은 노출되지 않아요.
민감한 작업을 AI로 처리했다면 대화 기록을 즉시 삭제하는 습관을 들이세요. 완전히 사라지지 않을 수 있지만, 접근 가능한 경로를 하나라도 줄이는 데 의미가 있어요.
회사 차원이라면:
직원들이 IT 부서 모르게 개인 AI 계정을 업무에 쓰는 “섀도우 AI” 현상이 중소기업에서 특히 두드러진다고 중소기업 기술마켓 AI 가이드는 지적해요. 금지만으로는 못 막아요. 차라리 ChatGPT Team이나 Enterprise처럼 학습이 기본으로 꺼진 플랜을 제공하고, 명확한 사용 지침을 주는 게 현실적이에요.
참고로 한국 개인정보보호법상, 고객 개인정보를 OpenAI·Google 같은 외부 AI에 전송하는 건 개인정보 처리 위탁에 해당해요. 이 경우 해당 사업자와 DPA(데이터 처리 계약)를 체결하고 개인정보처리방침에 공개해야 해요. 어기면 최대 5,000만 원 과태료가 부과될 수 있어요.
앞으로 어떻게 될까
AI 에이전트가 대신 작업을 수행하는 형태로 사용 패턴이 옮겨가면서, 비밀번호·자격증명 정보가 AI 흐름 안에 들어갈 여지는 늘어나고 있어요. 2026년 들어 Kakao와 Naver가 에이전트 환경의 취약점을 이유로 도구 사용을 제한한 것도 그 흐름 위에 있어요.
앞으로 6~12개월 사이에 주시해야 할 건 세 가지예요.
- AI 서비스의 기본값 변화: 규제 압력으로 무료 플랜에서도 학습 기본값이 바뀔 가능성이 있어요.
- 에이전트 보안 표준: 자율 AI 에이전트가 자격증명을 다루는 방식에 대한 업계 표준이 나올 거예요.
- 기업 AI 감사 도구 확산: 직원의 AI 사용을 모니터링하는 도구 시장이 커지고 있어요.
그래서 지금 당장 취할 수 있는 가장 간단한 행동은 하나예요. AI 채팅창을 열기 전에, 여기에 내가 붙여넣으려는 텍스트가 내일 외부에 공개되어도 괜찮은 내용인지 한 번 더 생각하는 거예요. 그 판단 하나가 훨씬 복잡한 사고를 막아줄 수 있어요.
결론은 간단해요. 가능성은 충분히 존재하고, 경로는 생각보다 다양하고, 플랫폼을 가린다고 완전히 막히지는 않아요. 도구를 바꾸는 것보다 습관을 바꾸는 게 더 빠른 해결책이에요.
이 글은 공개된 보안 리포트와 각 AI 서비스의 공식 정책을 바탕으로 작성했어요. 플랫폼 정책은 수시로 바뀔 수 있으니, 사용 전에 각 서비스 공식 사이트를 직접 확인하세요.
참고자료
- [AI돋보기] 개인정보 유출 문자 받았다면…무엇부터 해야 할까 | 연합뉴스
- [AI돋보기] 개인정보 유출 문자 받았다면…무엇부터 해야 할까 - 파이낸셜뉴스
- [AI돋보기] 개인정보 유출 문자 받았다면…무엇부터 해야 할까 - 서플
Photo by Steve A Johnson on Unsplash


