AI가 보안 업무 대신 해준다는데, 비개발자 중소기업이 믿고 써도 될까

직원 다섯 명짜리 스타트업이 AI로 보안 시스템을 만들었어요. 그런데 3개월 후, 고객 데이터가 외부로 새어나갔죠. 범인은 해커가 아니었어요. AI가 만든 코드 속 허점이었어요.

“AI가 보안을 알아서 해준다"는 말, 지금 많은 중소기업이 믿고 달려들고 있어요. 데이터를 보면 이야기가 좀 달라져요.

핵심 요약

• 삼성SDS가 2025년 5월 기업 AI 담당자 670명을 대상으로 조사한 결과, 한국 기업의 76%가 생성형 AI를 공식 도입했지만, 통제 밖에서 쓰이는 ‘섀도 AI’가 동시에 증가하고 있어요.
• Cisco 2025 데이터 프라이버시 벤치마크에 따르면 응답자의 64%가 생성형 AI로 인한 정보 유출을 우려하면서도, 46%는 직원 정보를, 42%는 기업 비공개 정보를 AI 도구에 입력하고 있어요.
• AI가 생성한 코드에서 가장 많이 발견되는 취약점 세 가지는 입력값 검증 부재, 과도한 IAM 권한, 소스코드 내 민감 정보 하드코딩이에요.
• 보안 전문가들은 “AI가 코드를 만들 순 있지만, 거버넌스까지 만들지는 않는다"고 입을 모아요.
• 중소기업에게 필요한 건 AI 보안 도구보다 ‘데이터 레이어 통제’라는 구조적 접근이에요.

지금 중소기업 현장에서 무슨 일이 벌어지고 있나

한국은행이 2024년 8월 발표한 보고서에 따르면, 한국 근로자의 63.5%가 생성형 AI를 써본 경험이 있고, 업무 목적 활용률은 51.8%예요. 미국(26.5%)의 거의 두 배 수준이죠.

수치만 보면 한국이 AI 도입에 꽤 앞서 있어 보여요. 그런데 “쓴다"와 “안전하게 쓴다"는 완전히 다른 이야기예요.

특히 개발자가 없는 중소기업에서는 이런 일이 자주 생겨요.

• 마케팅 담당자가 ChatGPT에 고객 이메일 목록을 붙여넣어요.
• 경영지원팀이 Claude로 임원 보고서를 요약시켜요.
• 영업팀이 Notion AI로 계약서 초안을 만들어요.

이게 다 ‘섀도 AI’예요. IT팀 모르게, 보안 검토 없이, 그냥 쓰는 거죠.

M이코노미뉴스 보도에 따르면, 비인가로 만들어진 AI 도구들이 조직 내 비공식 생태계를 형성하는 속도가 공식 도입 속도를 앞지르고 있어요. 현장 답변은 “쓰고 있긴 한데, 뭘 쓰는지 모르겠다"에 가깝죠.

AI가 만든 코드가 더 위험할 수 있는 이유

보안보다 “일단 돌아가는 것"을 먼저 만드는 AI

다빈치(DVN) 블로그 분석에 따르면, 보안 연구자들이 AI 생성 코드에서 반복적으로 발견하는 취약점은 크게 세 가지예요.

1. 입력값 검증 없음 — 사용자가 뭘 입력하든 그냥 받아들여요.
2. IAM 권한 과다 부여 — 필요한 것보다 훨씬 넓은 범위의 접근 권한을 줘요.
3. 하드코딩된 민감 정보 — API 키, 비밀번호가 코드 안에 그대로 박혀 있어요.

AI 모델은 기본적으로 “작동하는 결과물"을 만드는 데 초점이 맞춰져 있어요. 보안을 명시적으로 요청하지 않으면, 빠르게 돌아가는 코드를 뱉어내는 거죠.

직원 500명짜리 회사에서 각자 AI로 앱을 만든다면 어떻게 될까요? 500개의 서로 다른 보안 로직이 생기고, IT팀은 그 중 어떤 게 어떻게 운영되는지 파악조차 못해요. 다빈치가 지적한 핵심이 바로 이거예요. “앱 하나가 불안전한 것"보다 “통제되지 않은 앱이 퍼져나가는 것"이 훨씬 큰 리스크라는 거죠.

“금지하면 더 위험하다"는 역설

그렇다고 무조건 막는 게 답은 아니에요.

M이코노미뉴스 보도에서 전문가들이 강조한 점이 있어요. AI 사용을 완전히 금지하면, 직원들이 더 은밀하게 개인 기기나 외부 계정을 써서 기업 데이터를 처리해요. 오히려 추적이 불가능해지는 거죠.

SK텔레콤이 전사 AI 거버넌스 조직을 만들고, KB국민은행이 AI 거버넌스 + AI 윤리위원회를 운영하는 것도 같은 이유예요. 막는 게 아니라, 보이게 만드는 거죠.

비개발자 중소기업에게 현실적으로 필요한 것

세 가지 접근 방식 비교

실제로 고민한다면, 세 가지 선택지를 놓고 따져봐야 해요.

가장 흔한 실수는 “AI 보안 도구"를 쓰면 다 해결된다고 믿는 거예요. 소프트캠프의 AI 시큐리티 스위트나 윈스테크넷의 SNIPER AIVAX 같은 솔루션은 분명히 유용해요. 프롬프트 내 민감 데이터 차단, API 중앙 통제 같은 기능은 실제로 작동하죠.

그런데 2026 정보보호 솔루션 컨퍼런스에서 논의된 핵심은 이거예요. 도구 하나로 해결되는 문제가 아니라는 것. 허용/차단 이분법이 아닌, “위임 범위 정책 제한” 방식으로 전환해야 한다는 게 전문가들의 공통 의견이었어요.

데이터 레이어 통제, 쉽게 말하면 이거예요

지금 많은 기업이 “앱마다 각자 보안 설정"을 해요. 직원이 쓰는 AI 도구가 늘어날수록 관리가 불가능해지는 구조예요. 반면 데이터 레이어 통제는 “어떤 앱이 만들어지든, 데이터 접근 규칙은 하나"예요.

다빈치의 분석에서 제안한 구조는 두 가지예요.

• 중앙화된 권한 설정: 관리자가 한 번 정해놓으면, 이후 생기는 모든 앱이 그 규칙을 자동으로 따라요.
• 자동 감사 로그: 누가 어떤 데이터를 언제 봤는지, 앱별 설정 없이 한 곳에서 다 기록돼요.

비개발자 입장에서 보면, 이게 훨씬 현실적이에요. 매번 새로운 AI 도구마다 보안 설정을 다시 해야 한다면, 결국 아무도 안 하게 되거든요.

중소기업이 지금 당장 할 수 있는 것

상황 1 — 직원들이 이미 여러 AI 도구를 쓰고 있어요.

→ 금지보다 먼저, 어떤 도구를 쓰는지 파악하세요. 간단한 설문이나 IT 로그로 확인할 수 있어요. 파악이 안 되면 보호도 안 돼요.

상황 2 — AI로 내부 도구를 만들려고 해요.

→ 만들기 전에, 접근 권한 규칙을 먼저 정하세요. “누가 어떤 데이터에 접근할 수 있나"를 문서로 만들어두는 것만으로도 AI 생성 코드 취약점을 절반 이상 줄일 수 있어요.

상황 3 — 규제 대응이 걱정돼요.

→ 개인정보보호법, 망분리 규정, 업종별 컴플라이언스를 확인하세요. AI 도구가 국외 서버로 데이터를 전송한다면, 그 자체가 규정 위반일 수 있어요.

참고로, 2026년 하반기부터 공공부문 AI 도입 건수가 급증하면서(SPRi 조사, 2015년 98건→2024년 667건), 민간 중소기업에도 유사한 규제 요건이 적용될 가능성이 높아요. 미리 준비하는 게 나중에 고치는 것보다 훨씬 저렴해요.

그래서, 믿고 써도 될까

• AI는 보안을 도와주는 도구가 될 수 있어요. 하지만 “알아서 해주는” 도구는 아니에요.
• 한국 기업의 76%가 생성형 AI를 도입했지만, 정작 어떤 데이터가 어디로 흘러가는지 아는 곳은 소수예요.
• 비개발자 중소기업에게 필요한 건 AI 보안 솔루션 이전에, 데이터 접근 규칙과 감사 체계예요.
• AI가 코드를 만들어줄 순 있어도, 그 코드가 안전한지 판단하는 건 여전히 사람의 몫이에요.

앞으로 6~12개월 안에, AI 에이전트가 직접 시스템을 조작하는 사례가 중소기업에도 빠르게 퍼질 거예요. 그때 가서 보안 체계를 만들려 하면 이미 늦어요. 지금 해야 할 질문은 “AI를 써야 하나"가 아니라, “우리 데이터가 지금 어디에 있나"예요.

여러분 회사에서 직원들이 가장 많이 쓰는 AI 도구가 뭔지, 오늘 한번 물어보셨나요?

참고자료

1. [현장] ‘답변’ 넘어 ‘행동’하는 AI에 대응하는 보안…에이전트 시대 ‘AI 리스크’ 관리법은? - 테크42
2. “AI 동료를 부리는 매니저로 진화하라”… 현업 전문가 6인이 짚어낸 보안의 미래 - 보안뉴스
3. 해킹하는 AI vs 막아내는 AI…차세대 보안 ‘창과 방패’ 경쟁 | 서울경제

Photo by Igor Omilaev on Unsplash