회사 업무에 AI 쓰면 개인정보 유출될 수 있을까? 구조적 위험과 법적 책임 정리
삼성전자 직원이 반도체 소스 코드를 ChatGPT에 그대로 붙여넣었을 때, 그 데이터는 이미 해외 서버로 나간 뒤였어요. 2023년에 벌어진 이 사건은 지금도 기업 AI 보안 정책의 교과서처럼 쓰이고 있죠. 그런데 2026년 현재, “AI 쓸 때 개인정보 유출될 수 있을까?“라는 질문은 더 이상 “조심하면 되지 않나?“로 넘어갈 수 없는 수준이 됐어요.
규제 환경이 달라졌거든요.
핵심 요약
- ChatGPT, Gemini, Claude 등 글로벌 AI 서비스에 고객 데이터를 입력하면, 개인정보 보호법상 ‘위탁’ 관계가 성립하며 기업이 직접 감독 책임을 져요.
- 서울고등법원 판결(2016나2049021)에 따르면, 위탁사는 수탁사 현장에 직접 방문해 보안 점검을 해야 ‘주의 의무’를 다한 것으로 인정돼요 — 글로벌 AI 기업에는 사실상 불가능한 기준이에요.
- 중소기업 기술마켓 AI 전용관에 따르면 API 키 유출은 GitHub 푸시 후 수 분 내에 자동 봇에게 탐지되며, 이것이 현재 가장 빈번한 기업 AI 보안 사고 유형이에요.
- ‘허용 목록’ 기반 거버넌스(승인된 도구와 용도만 허용)가 현재 규정 준수 관점에서 가장 현실적인 대응 방식이에요.
지금 다시 문제가 된 이유
2026년 기준으로, 대부분의 한국 기업에서 직원들은 이미 업무에 AI를 쓰고 있어요. 문서 초안 작성, 코드 리뷰, 회의록 정리, 고객 이메일 답변까지. 그런데 조직이 공식 승인한 도구가 아닌 경우가 훨씬 많죠. 이걸 ‘Shadow AI’라고 불러요. 조직 몰래 쓰이는 AI라는 뜻이에요.
중소기업 기술마켓 AI 전용관에 따르면, Shadow AI 현상은 이미 광범위하게 퍼져 있어요. 문제는 이게 단순히 “회사 정책 위반"이 아니라는 점이에요. 개인정보 보호법(PIPA) 위반으로 직결될 수 있는 구조거든요.
ChatGPT나 Gemini 같은 서비스에 고객 정보를 넣는 순간, 법적으로는 ‘개인정보 처리 위탁’이 발생해요. 그러면 기업은 위탁사로서 수탁사(AI 서비스)를 감독할 의무가 생기는데, ZDNet Korea의 디엘지 law 인사이트는 이 감독 의무의 현실적 기준이 얼마나 높은지를 잘 보여줘요. 법원이 요구하는 수준은 “직접 현장 방문 후 보안 프로그램 설치 여부 확인"이에요. 샌프란시스코에 있는 Anthropic 본사를 감사하러 갈 수 없는 한국 중소기업 입장에선 의무 이행 자체가 불가능한 셈이죠.
세 가지 실제 위험: 데이터가 어디서 새는가
생성형 AI의 구조적 취약점
중소기업 기술마켓 AI 전용관은 생성형 AI가 가진 보안 위협을 네 가지로 분류해요.
- 훈련 데이터 유출: 입력 데이터가 모델 학습에 쓰이는 경우
- 모델 역추론 공격(Model Inversion Attack): 반복적 질의로 학습 데이터를 역추출
- 프롬프트 인젝션: AI가 의도치 않은 행동을 하도록 조작
- 멤버십 추론 공격: 특정 데이터가 훈련에 포함됐는지 파악
이 중 기업이 가장 자주 맞닥뜨리는 건 첫 번째와 프롬프트 인젝션이에요. 훈련 옵트아웃 설정을 안 하면, 입력한 내용이 다음 버전 모델에 반영될 수 있어요.
API 키 유출: 가장 흔한 사고
중소기업 기술마켓 AI 전용관에 따르면, API 키가 GitHub에 올라가면 자동화 봇이 수 분 내로 탐지해요. 키가 노출되는 순간 무단 청구와 데이터 접근이 동시에 시작되거든요. 유출 경로 다섯 가지는 명확해요: 공개 코드 저장소, 로그 파일, 프론트엔드 코드, Slack·Notion 같은 공유 문서, 퇴사한 직원.
직원 행동 패턴: 세 가지 금지 카테고리
한솔 PNS 블로그는 ChatGPT에 절대 입력하면 안 되는 정보를 명확히 정리했어요.
- 고객 정보: 회사명, 연락처, 계약 세부 내용, 프로젝트 내용
- 내부 기밀 문서: 회의록, 보고서 초안, 시스템 구성도, 내부 프로세스 문서
- 미공개 경영 정보: 매출 수치, 신사업 계획, 조직 개편 내용
실제 사례도 있어요. 한솔 PNS가 인용한 해외 사례에서, 한 직원이 프로젝트 소스 코드를 ChatGPT에 직접 붙여넣어 보안 사고가 났어요. 해결 방법은 실제 데이터를 가명이나 샘플 데이터로 바꾸거나, 코드에서 변수명·파일 경로·데이터베이스 이름을 제거하는 거예요.
기업 플랜 vs. 무료/개인 플랜: 어디까지 믿을 수 있나
ZDNet Korea에 따르면, OpenAI·Google·Microsoft의 엔터프라이즈 플랜은 표준 데이터 처리 계약(DPA)을 제공해요. 이게 PIPA 제26조 요건과 어느 정도 맞아요. 그렇다고 무조건 안전한 건 아니에요.
| 항목 | 무료/개인 플랜 | 기업 엔터프라이즈 플랜 |
|---|---|---|
| 데이터 학습 사용 | 기본값 허용 | 옵트아웃 설정 가능 |
| DPA 계약 | 없음 | 표준 DPA 제공 |
| 접근 제어 | 없음 | 역할 기반 접근 관리 |
| 사용 로그 | 없음 | 감사 로그 제공 |
| PIPA 준수 근거 | 매우 취약 | 부분적 충족 가능 |
| 물리적 감사 가능성 | 불가 | 불가 |
결국 엔터프라이즈 플랜도 ‘물리적 현장 감독’이라는 법적 기준은 충족 못 해요. 하지만 개인 플랜보다는 훨씬 나은 출발점인 건 맞아요.
실전 대응: 지금 당장 할 수 있는 것들
기업 담당자 관점에서 보면 문제가 명확해요. ZDNet Korea는 개인정보보호위원회가 AWS를 쓰면서 IP 기반 접근 제한을 하지 않은 국내 기업에 과징금을 부과한 사례를 언급해요. 핵심은 이거예요: 써드파티 플랫폼 내에서 설정 가능한 모든 보호 기능을 실제로 켜야 한다는 거예요. 설정할 수 있는데 안 했다면, 그 자체가 과실로 인정될 수 있어요.
개발자 관점에서는 API 키 관리가 첫 번째 과제예요.
- 환경 변수로 키 관리 (코드에 직접 입력 절대 금지)
- AWS Secrets Manager 같은 전문 도구 사용
- 분기별 키 교체
- 용도별로 키를 분리해서 발급
직원 교육 관점에서는 한솔 PNS처럼 연간 전사 보안 교육에 AI 관련 항목을 명시적으로 포함해야 해요. ‘그럴 것 같다’가 아니라, 실제로 어떤 정보가 어떻게 유출됐는지 사례 중심으로 교육하는 게 효과적이에요.
Shadow AI를 막는 가장 현실적인 방법은 금지가 아니라 ‘허용 목록’ 모델이에요. 승인된 도구와 용도를 명시하고, 나머지는 기본적으로 금지 처리하는 방식이죠.
앞으로 6-12개월, 무엇을 지켜봐야 할까
- 국내 AI 거버넌스 규정 강화: 개인정보보호위원회가 AI 서비스 위탁 관련 구체적 가이드라인을 발표할 가능성이 높아요. 2026년 하반기 중 나올 수 있어요.
- 글로벌 AI 기업의 DPA 강화: EU AI Act 시행 영향으로 OpenAI·Google 등이 계약 조건을 업데이트하고 있어요. 계약서를 다시 읽어볼 타이밍이에요.
- 온프레미스/프라이빗 LLM 수요 증가: 물리적 감독 불가 문제를 근본적으로 해결하려면 내부 LLM 운영이 유일한 답이에요. 비용 대비 효과는 기업 규모에 따라 달라지겠지만, 그 시점이 빠르게 다가오고 있어요.
“AI 쓰면 개인정보 유출될 수 있을까?“라는 질문의 답은 이제 “그럴 수도 있어요"가 아니에요. “구조적으로 위험하고, 법적 책임은 당신 회사에 있어요"가 정확한 답이에요.
지금 팀에서 어떤 AI 도구를 쓰는지 전수 조사해봤나요? Shadow AI가 없다고 확신할 수 있다면, 그게 오히려 더 들여다봐야 할 신호일 수 있어요.
참고자료
- [디엘지 law 인사이트] 글로벌AI에 맡긴 고객 개인정보 유출과 기업 대비책 - ZDNet korea
- [AI 데이터·윤리] AI 보안·리스크 관리: 개인정보보호·모델 악용방지·접근제어 - 중소기업 기술마켓 AI 전용관
- 회사 기밀 유출 없이 챗GPT 안전하게 활용하는 법!
