챗봇에 개인정보 입력해도 괜찮을까? AI 보안 기초 상식 정리
챗봇에 고객 이름을 붙여넣는 순간, 그 데이터가 어디로 가는지 아는 사람이 얼마나 될까요?
GitHub에 올라간 API 키는 자동화 봇이 수 분 안에 탐지해요. 하룻밤 사이에 수백만 원이 청구될 수 있는 구조죠. 챗봇에 고객 이름이나 주민번호를 붙여넣는 것도 같은 맥락이에요. 위험한지 모르고 쓰는 게 가장 위험한 거거든요.
2026년 들어 AI 챗봇 사용이 일상화되면서, 보안 사고도 같이 늘고 있어요. 한국인터넷진흥원(KISA)이 2025년 12월 AI 보안 안내서를 내놓고 이후 정오표까지 다시 배포한 건 — 이 문제가 단발성 이슈가 아니라는 신호예요.
이 글에서 다룰 내용은 이렇게 정리돼요:
- 챗봇에 어떤 정보를 넣으면 안 되는지, 그 이유
- 기업 입장에서 법적으로 어떤 의무가 생기는지
- Shadow AI 문제와 실제 피해 사례
- 개인과 기업이 당장 바꿔야 할 것들
Key Takeaways
- KISA는 2025년 12월 AI 보안 안내서에서 이름·연락처·주문번호·비밀번호·일회용 인증번호를 생성형 AI에 입력하지 말도록 명시했으며, “몰랐다"는 주장은 법적 분쟁에서 설득력이 없다고 경고했다.
- 삼성전자가 2023년 직원들의 ChatGPT 반도체 소스코드 입력 사건 이후, 기업 AI 사용 정책 수립이 업계 표준이 됐지만 2026년 현재도 Shadow AI 문제는 해결되지 않았다.
- 한국 개인정보보호법상 고객 데이터를 외부 AI API에 전송하면 위탁 처리에 해당해 DPA 계약, 개인정보처리방침 공지, 수탁자 관리 의무가 발생한다.
- KISA는 2026년을 딥페이크·합성 음성·맞춤형 허위정보 등 AI 기반 위협이 일상화되는 원년으로 예측했다.
AI 보안 사고, 왜 지금 이 이야기를 해야 하는가
2023년 삼성전자 사례는 아직도 회자돼요. 직원들이 회사 반도체 소스코드와 회의록을 ChatGPT에 입력했고, 이 사건은 전 세계 기업이 AI 사용 정책을 만드는 계기가 됐죠. 그런데 3년이 지난 2026년, 상황이 얼마나 달라졌을까요?
직원들이 회사 승인 없이 AI 툴을 쓰는 Shadow AI 현상은 오히려 확산되고 있어요. 완전한 금지는 현실적으로 불가능해졌다는 게 보안 업계의 공통된 시각이에요.
문제는 구조적이에요. 챗봇 인터페이스는 쓰기 쉬운 만큼, 민감한 정보가 무심코 들어가기 쉬워요. CRM 화면을 그대로 복사하거나, 고객 상담 기록이 담긴 엑셀 파일을 붙여넣는 관행이 대표적이에요. 들로우에이아이의 AI 보안 가이드는 이를 “가장 흔한 위반 사례"로 명시하고 있어요.
KISA가 안내서 발행 후 정오표까지 배포했다는 건 보안 기준이 아직 ‘완성형’이 아니라는 뜻이에요. 기업 내부 지침을 한 번 만들고 끝낼 게 아니라, 버전 관리 방식으로 지속 갱신해야 하는 이유가 여기 있어요.
어떤 정보가 위험한가: 세 가지 금지 범위
직접 식별 정보: 입력 자체가 안 돼요
KISA 안내서가 가장 명확하게 선을 그은 영역이에요. 이름, 연락처, 주문번호 같은 고객 식별 정보, 비밀번호와 일회용 인증번호 같은 인증 정보, 계정 정보는 생성형 AI에 넣어서는 안 돼요.
이유는 간단해요. 외부 AI 서비스에 데이터를 보내는 순간, 그 데이터가 어떻게 처리되는지 완전히 통제할 수 없게 되거든요. 서비스 약관에 따라 학습 데이터로 쓰일 수도 있고, 보안 사고 발생 시 노출 범위를 특정하기도 어려워요.
조합형 정보: 단독으로는 괜찮아 보여도
나이, 지역, 직업 같은 정보는 하나씩 보면 민감해 보이지 않아요. 그런데 세 가지가 합쳐지면 특정 개인을 식별할 수 있는 경우가 생겨요. 조합 시 식별 가능성이 있는 정보도 비식별 처리 후 입력해야 한다는 원칙이에요.
통계·집계 데이터: 검토 후 판단
월별 매출 합계, 연령대별 비율 같은 집계형 데이터는 상대적으로 안전해 보이지만, 특정 조건이 결합되면 소수 고객군이 역으로 드러날 수 있어요. 입력 전에 “이 데이터로 누구를 특정할 수 있는가"를 먼저 확인하는 습관이 필요해요.
AI 보안 위협 유형 비교: 무엇이 얼마나 위험한가
챗봇 개인정보 문제를 넓은 맥락에서 보면, AI 보안 위협은 크게 네 가지로 나뉘어요.
| 위협 유형 | 공격 방식 | 주요 피해 | 탐지 난이도 |
|---|---|---|---|
| 학습 데이터 유출 | 입력된 데이터가 모델 학습에 반영 | 고객 정보 간접 노출 | 높음 |
| 모델 역추출 공격 | 반복 쿼리로 학습 데이터 추출 | 기밀 정보 복원 | 매우 높음 |
| 프롬프트 인젝션 | 악성 입력으로 AI 행동 조작 | 지침 우회, 오정보 출력 | 중간 |
| API 키 노출 | GitHub 등 공개 저장소에 키 유출 | 무단 사용, 과금 피해 | 낮음 (봇이 수 분 내 탐지) |
API 키 노출은 탐지 난이도가 낮은 대신 피해 속도가 가장 빨라요. 자동화 봇이 공개 저장소를 수 분 만에 스캔하고, 하룻밤 사이에 수백만 원 청구가 발생할 수 있거든요.
반면 프롬프트 인젝션은 챗봇 서비스를 운영하는 기업에 더 직접적인 위협이에요. “이전 지침을 무시해"처럼 설계된 악성 입력이 AI 응답 범위를 벗어나게 만드는 방식이에요. 엑소스피어의 2026년 3월 보안 가이드는 방어책으로 악성 패턴 필터링, 응답 범위 엄격 제한, 출력 사전 검증 세 가지를 제시해요.
기업과 개인, 각각 무엇을 바꿔야 하는가
기업이 당장 해야 할 것
법적 의무부터 정리해야 해요. 한국 개인정보보호법상 고객 데이터를 외부 AI API로 보내는 행위는 위탁 처리에 해당해요. DPA(데이터 처리 계약) 체결, 개인정보처리방침에 AI 벤더 명시, 수탁자 관리 의무가 생긴다는 뜻이에요.
OpenAI, Google, Microsoft 같은 기업용 AI 플랫폼은 비즈니스 플랜을 통해 표준 DPA를 제공해요. 외부 AI 솔루션 계약 시 이 조항이 포함됐는지 반드시 확인해야 하고, 사고 발생 시 책임 분담 구조도 계약서에 명시해야 해요.
내부적으로는 Shadow AI를 막는 게 아니라 관리하는 방향으로 접근해야 해요. 금지보다는 승인된 AI 툴 목록을 만들고, 어떤 데이터를 넣어도 되는지 명확한 기준을 세우는 게 현실적이에요.
개인이 지금 바꿀 수 있는 것
세 가지만 기억하면 돼요.
- 대화 기록 저장 끄기: 대부분의 AI 서비스는 설정에서 대화 내용의 학습 데이터 저장을 끌 수 있어요. 지금 바로 확인해보세요.
- 공공 와이파이에서 AI 쓰지 않기: 공공 네트워크에서는 MITM 공격과 네트워크 스니핑 위험이 있어요. 불가피하다면 VPN을 써야 해요.
- 입력 전에 “이걸 인터넷에 올려도 괜찮은가?” 한 번만 묻기: 단순하지만 효과적인 기준이에요.
2026년 하반기, 무엇이 달라질까
KISA는 2026년을 AI 기반 위협이 일상화되는 원년으로 예측했어요. 딥페이크, 합성 음성, 맞춤형 허위정보가 주요 위협으로 꼽혔고, 이미 생체 인증 시스템이 위조 음성·영상에 뚫리는 사례가 보고되고 있어요.
규제 측면에서도 변화가 예상돼요. KISA의 AI 보안 안내서가 정오표와 함께 갱신된 패턴을 보면, 하반기 중 추가 개정이 나올 가능성이 높아요. 기업 내부 지침을 “정책 확정” 문서가 아니라 참조 버전을 명시한 살아있는 문서로 관리해야 하는 이유예요.
결국 핵심은 이거예요. 편의성과 보안은 트레이드오프 관계가 아니에요. 어떤 정보를 어디에 넣는지 의식하는 것만으로 대부분의 위험을 줄일 수 있어요.
지금 당신의 회사에 AI 사용 지침이 있나요? 있다면 마지막으로 갱신한 게 언제인지 확인해보는 것, 거기서 시작하면 돼요.
참고 자료: 들로우에이아이 AI 보안 가이드 / 중소기업 기술마켓 AI 전용관 / 엑소스피어 AI 보안 수칙 (2026년 3월)
참고자료
- AI 활용 가이드: AI 보안 가이드: 고객·계정 정보, 챗봇에 입력하면 안 되는 이유 | 들로우에이아이
- AI 보안·리스크 관리: 개인정보보호·모델 악용방지·접근제어 - 중소기업 기술마켓 AI 전용관
- 사생활 털어놓는 챗GPT, 개인정보 괜찮을까 – 바이라인네트워크
Photo by Markus Winkler on Unsplash
