테크 경제

AI 에이전트 실수 되돌리기, 일반인도 알아야 할 이유: 반복 오류의 구조와 대응 방식

AI 에이전트 실수 되돌리기, 일반인도 알아야 할 이유: 반복 오류의 구조와 대응 방식

AI 에이전트가 기업 업무에 본격적으로 들어오고 있어요. 그런데 현장 분위기를 보면 뭔가 이상해요. Gartner 전망대로라면 2026년까지 기업 앱의 40% 이상이 AI 에이전트를 쓰게 되는데, 맥킨지 조사에선 실제로 전사 규모 배포에 성공한 기업이 25%도 안 돼요. 왜일까요? 에이전트들이 실수를 반복하거든요. 그것도 같은 실수를.

이 글은 그 “되돌리기” 문제를 세 가지 접근법과 실제 데이터로 풀어봐요.


핵심 요약

  • AI 에이전트는 대화가 끝나면 기억을 초기화해요 — 그래서 같은 실수가 구조적으로 반복돼요.
  • Apiiro 2025년 분석에 따르면 AI 생성 코드가 월 1만 건 이상의 보안 취약점을 저장소에 삽입하는 것으로 나타났어요 — 2024년 대비 열 배 증가예요.
  • 복잡한 웹 태스크 성공률은 2025년 초 30~40%에서 2026년 1분기 87%로 올랐어요. 하지만 모델 성능 향상이 자동으로 신뢰성으로 이어지진 않아요.
  • Amazon ICML 2026 연구에서 에이전트 실패의 33%는 “생각만 하고 행동하지 않는” 패턴으로 분류됐어요.
  • AI 에이전트 실수를 방치하면 비용이 개인·기업 양쪽에 직접 귀결돼요 — 그래서 “되돌리기 설계"가 지금 가장 뜨거운 주제예요.

AI 에이전트가 맨날 같은 실수를 하는 이유

대화형 AI는 근본적으로 기억이 없어요. 오늘 대화가 끝나면 내일은 처음부터 다시 시작이에요. 사람으로 치면 매일 아침 출근할 때마다 전날 배운 걸 전부 잊는 셈이죠.

그 구조가 가져오는 문제가 하나 있어요. 에이전트가 어제 틀린 방식으로 뭔가를 했더라도, 오늘 똑같은 상황이 오면 다시 같은 방식으로 접근해요. 이게 “구조적 반복 실수"예요.

Skillify 방법론 분석에서 나온 사례가 직관적이에요. AI 에이전트가 캘린더 데이터를 찾으러 API와 이메일을 5분 넘게 뒤졌는데, 사실 로컬 지식 베이스에 3,000개 넘는 항목이 이미 색인돼 있었어요. 또 다른 케이스에선 에이전트가 UTC를 현지 시간으로 직접 계산하다가 회의 시간을 60분 틀리게 잡았어요 — 정확한 스크립트가 이미 있는데도 쓰지 않고요.

문제의 뿌리는 명확해요. 에이전트가 “추론"으로 처리해야 할 일과 “결정론적 코드"로 처리해야 할 일을 구분하지 못할 때 실수가 나와요. 시간 계산, 파일 존재 여부 확인 같은 건 AI가 판단할 게 아니에요. 코드가 하면 돼요.

Harness Engineering 분석에 따르면 Apiiro가 2025년에 조사한 결과 AI 생성 코드가 월 1만 건 이상의 보안 취약점을 코드 저장소에 집어넣었어요. 프롬프트로 “이렇게 해줘"라고 말하는 건 확률적 요청이지, 강제가 아니에요. 그래서 에이전트는 가끔 무시해요.


세 가지 “실수 되돌리기” 접근법

지금 현장에서 주목받는 접근법은 크게 세 가지예요. 각각 범위도 다르고, 강제력도 달라요.

Skillify: 실수를 재사용 가능한 절차로 전환

AI 엔지니어 Garry Tan이 개발한 Skillify는 에이전트가 실수할 때마다 그 해결책을 “Skill"이라는 구조화된 문서로 저장해요. 소프트웨어 함수처럼요. 에이전트가 나중에 같은 상황을 만나면 추론 대신 그 Skill을 불러써요.

실용적인 포인트는 간단해요. 대화 중 “Skillify this"라고 입력하면 에이전트가 자동으로 문서, 코드, 테스트, 라우팅 등록을 만들어줘요.

같은 출처에서 나온 감사 결과도 흥미로워요. 40개 이상의 Skill 중 여섯 개(약 15%)가 어떤 라우팅 경로로도 도달 불가능했어요. 존재하지만 사실상 죽어 있는 Skill이에요. 주기적으로 감사하지 않으면 쓸모없는 규칙이 쌓여가는 거죠.

Harness Engineering: 환경 자체를 고쳐서 실수 불가능하게

HashiCorp/Terraform 창업자 Mitchell Hashimoto가 2026년 2월에 정의한 개념이에요. 핵심 문장은 하나예요: “에이전트가 실수할 때마다, 그 실수가 다시 불가능하도록 환경을 영구적으로 고쳐라.”

구조는 세 층이에요. 코드 생성 전에 막는 제약 층(Constraint Layer), 생성 후 스스로 수정하게 돕는 피드백 루프(Feedback Loop), 그리고 머지 전에 아예 차단하는 품질 게이트(Quality Gates). 2025년 8월엔 OpenAI, Google, Cursor가 공동으로 AGENTS.md 오픈 표준을 내놨어요. 주요 에이전트 도구들이 모두 읽는 범용 설정 파일이에요.

Amazon Eval-Driven Flywheel: 실패 궤적을 훈련 연료로

Amazon 연구자 Anika Houston이 ICML 2026 서울에서 발표한 프레임워크예요. 보통 AI 평가 루프는 점수 하나를 뽑고 끝나요. 실패한 과정, 즉 “어디서 왜 틀렸는지"는 버려요.

Flywheel은 그 실패 궤적을 버리지 않아요. 대신 분석해서 합성 훈련 데이터로 만들어요. Amazon의 200개 태스크 평가 데이터를 보면:

  • 33% — 생각은 하지만 행동하지 않는 패턴
  • 27% — 태스크 포기나 거부
  • 26% — 근본적으로 잘못된 접근

이 분류 자체가 유용해요. “왜 실패했는가"를 범주화하면 어떤 훈련 데이터가 더 필요한지 정확하게 알 수 있으니까요. 이 프레임워크는 Amazon의 브라우저 자동화 서비스 Nova Act에 이미 반영됐어요.


세 접근법 비교

항목SkillifyHarness EngineeringEval-Driven Flywheel
적용 범위대화 세션 단위프로젝트 전체 생애모델 사후 훈련 단계
강제력에이전트 자율시스템 강제훈련 데이터로 내재화
주요 산출물SKILL.md + 코드AGENTS.md + 품질 게이트실패 분류 + 합성 데이터
도입 난이도낮음 (명령어 1개)중간 (저장소 설정 필요)높음 (훈련 파이프라인)
가장 잘 맞는 상황반복 태스크 자동화보안·코드 품질 중시 환경대규모 에이전트 훈련·배포

세 접근법은 대립하는 게 아니에요. 계층이 달라요. Skillify는 가장 빠르게 적용 가능한 운영 레이어, Harness Engineering은 그 아래 인프라 레이어, Flywheel은 모델 자체를 개선하는 훈련 레이어예요. 세 개를 같이 쓸 때 효과가 쌓여요.


일반인도 알아야 할 이유

개발자·엔지니어라면

지금 당장 AGENTS.md 설정을 저장소에 넣는 것부터 시작해볼 만해요. ESLint 규칙을 warn이 아니라 error로 올리는 것도요. 작은 설정 하나가 에이전트가 절대 넘을 수 없는 선이 돼요.

Skillify는 더 간단해요. 에이전트가 뭔가 반복적으로 틀릴 때 “Skillify this"를 써보세요. 이후 그 해결책이 절차로 굳어요.

기업 의사결정자라면

Houston의 경고를 기억할 필요가 있어요. 벤치마크 점수가 높다고 실제 업무에서 잘 돌아간다는 보장이 없어요. 외부 벤치마크 대신 자사 업무를 반영한 내부 평가를 먼저 만드는 게 맞아요. 에이전트 도입 실패의 절반 이상이 범위 설정이 너무 넓거나 성공 기준이 없어서 생긴다는 Gartner 분석도 같은 맥락이에요.

에이전트를 직접 쓰는 비개발자라면

에이전트가 대신 처리한 작업의 책임 소재가 모호해지거든요. DEV Community 분석이 지적하듯 에이전트가 5단계 중 4단계를 완료하고 마지막 단계에서 실수하면, 그 피해는 도구를 쓴 사람이 져요. 에이전트가 어디서 실수할 수 있는지 미리 아는 게 자기 보호예요.


앞으로 6~12개월, 뭘 봐야 하나요

지금 흐름에서 세 가지가 보여요.

AGENTS.md 표준 확산. 2025년 8월 OpenAI·Google·Cursor가 공동 발표한 이후 더 많은 도구들이 이 파일을 기본 지원할 거예요. 에이전트를 쓰는 팀이라면 무시하기 어려워질 거예요.

실패 분류 체계의 부상. Amazon의 Eval-Driven Flywheel처럼 실패를 유형별로 나눠 학습하는 방식이 더 많은 모델 훈련에 적용될 거예요. 단순 성공/실패 이분법으로는 더 이상 에이전트를 개선하기 어렵다는 인식이 퍼지고 있어요.

책임 소재 논의의 제도화. 에이전트가 더 많은 실제 업무를 처리할수록, “누가 실수의 책임을 지냐"는 법적·조직적 논의가 올해 안에 더 구체적으로 등장할 거예요.

결국 핵심 질문은 하나예요. 에이전트를 얼마나 신뢰할 수 있느냐가 아니라, 에이전트가 실수했을 때 그 실수가 얼마나 빨리 되돌려지는 환경을 만들었느냐예요. 그 질문에 답하는 팀이 2027년에도 살아남을 거예요.

지금 쓰는 AI 에이전트 환경에, 실수를 막는 장치가 하나라도 있나요?

참고자료

  1. Put the Human Gate Where Mistakes Go Public - SD Times
  2. Your AI Agent Completed 4 of 5 Steps. Who Is Responsible for the Damage? - DEV Community

Photo by Igor Omilaev on Unsplash