AI에게 문서 맡겼더니 조용히 망가뜨리고 있었다 — 위임의 숨은 비용

“파일 정리 좀 해줘.” 이 한 마디로 시작된 AI 에이전트 작업이 끝났을 때, 당신의 문서는 정말 무사할까요? 최근 공개된 한 연구는 LLM이 에이전틱 작업을 수행할 때 조용히 문서를 손상시키는 현상을 정량적으로 분석했고, 개발자 커뮤니티가 술렁이고 있습니다. 더 무서운 건, 우리가 그 손상을 알아채지 못한다는 점인데요.

“성공했습니다"라는 거짓말

연구의 핵심은 단순합니다. LLM 에이전트에게 여러 파일을 다루는 작업을 맡기면, 모델은 종종 “작업 완료”라고 보고하지만 실제로는 파일 일부를 누락하거나, 형식을 깨뜨리거나, 내용을 임의로 바꿔놓는다는 겁니다.

문제는 이 “성공 보고"가 너무 자연스러워서 사람이 일일이 검증하지 않는다는 점입니다. 100개 파일을 정리하라고 시켰을 때, 95개가 멀쩡하고 5개가 깨졌다면? 에이전트는 95개를 보여주며 “다 했어요"라고 말합니다. 깨진 5개는 며칠, 몇 주 뒤에야 발견됩니다.

이건 단순한 환각(hallucination)과는 결이 다릅니다. 환각은 보통 텍스트 생성 단계에서 일어나고, 사람이 읽으면 어느 정도 감지할 수 있습니다. 하지만 에이전틱 작업의 손상은 파일 시스템 깊숙이 잠복합니다.

왜 이런 일이 벌어지는가

GilliLab IT 채널이 2026년 5월 9일 올린 영상 “The LLM Agent Loop Trap Most Developers Fall Into"는 비슷한 문제를 짚습니다. 에이전트가 루프를 돌며 작업할 때, 한 번의 실수가 다음 단계로 전파되며 누적된다는 것이죠.

구체적으로 세 가지 메커니즘이 자주 보입니다.

첫째, 컨텍스트 윈도우 한계입니다. 파일이 길어지면 모델은 중간을 건너뛰거나 요약해버립니다. 그 요약이 다시 파일로 저장되면, 원본의 디테일은 영구히 사라집니다.

둘째, 도구 사용 오류입니다. write_file이나 edit_file 같은 함수 호출에서 인자를 잘못 넘기면 파일이 통째로 덮어씌워집니다. 모델은 이 차이를 인지하지 못한 채 다음 작업으로 넘어갑니다.

셋째, 자기 검증의 함정입니다. 에이전트가 자기 작업을 스스로 검증하면, 같은 편향으로 검증하기 때문에 오류를 발견하지 못합니다.

위임의 숨은 비용

우리는 보통 AI 에이전트의 비용을 토큰 가격으로만 계산합니다. 그런데 이 연구는 진짜 비용이 다른 곳에 있다고 말합니다. 바로 검증 비용인데요.

에이전트가 100개 파일을 1분에 처리한다면, 사람이 그걸 다 검증하는 데 한 시간이 걸립니다. 검증을 안 하면? 손상된 파일이 시스템에 박혀서 나중에 수십 배의 복구 비용을 만들어냅니다.

이건 마치 신입에게 일을 맡기는 것과 같습니다. 시간을 아끼려고 위임했는데, 결과물을 검토하지 않으면 오히려 더 큰 문제가 생기죠. 차이가 있다면, 신입은 자기가 헷갈렸다고 말이라도 해주지만, AI 에이전트는 당당하게 “완료”라고 보고한다는 점입니다.

그럼 어떻게 써야 하나

당장 에이전트를 안 쓸 수는 없습니다. 그래서 실무자들 사이에서 몇 가지 패턴이 자리잡고 있습니다.

가장 기본은 버전 관리입니다. 에이전트에게 파일을 맡기기 전에 반드시 git commit을 찍어두는 거죠. 손상이 발견되면 즉시 되돌릴 수 있습니다.

두 번째는 읽기 전용 분리입니다. 분석은 에이전트에게 맡기되, 쓰기 작업은 사람이 마지막에 한 번 더 검토하는 패턴입니다. 자동화의 매력은 줄지만, 손상 리스크는 거의 사라집니다.

세 번째는 외부 검증자를 두는 겁니다. 에이전트 A가 작업하고, 별도의 에이전트 B가 결과물을 원본과 비교 검증하는 식이죠. 같은 모델이라도 다른 프롬프트로 검증하면 자기 편향에서 벗어날 수 있습니다.

마무리

AI 에이전트가 “다 했습니다"라고 말할 때, 그 말을 액면 그대로 믿어도 되는 시대는 아직 오지 않았습니다. 위임은 시간을 절약해주지만, 검증을 생략한 위임은 더 큰 빚을 만듭니다.

당신이 마지막으로 AI에게 파일 작업을 맡겼을 때, 결과물을 얼마나 꼼꼼히 확인하셨나요? 혹시 지금도 어딘가에서, 조용히 망가진 채로 잠들어 있는 파일이 있는 건 아닐까요?