AGI를 측정하겠다던 대회가 AI에게 뚫렸다: 딥마인드 캐글 '슬롭 논문' 수상 논란

가끔 어떤 사건은 그 자체보다 상징성이 더 큽니다. AGI, 즉 인간 수준 범용 인공지능을 향한 진전을 어떻게 측정할지 겨루는 대회에서, 정작 AI가 만들어낸 것으로 의심되는 결과물이 최고상을 가져갔다면 어떨까요. 지금 AI 커뮤니티에서 벌어지고 있는 논쟁이 딱 그 모양입니다.

먼저 솔직하게 말씀드릴 게 있습니다. 이 주제로 최근 30일간의 커뮤니티 데이터를 훑어봤지만, 확인된 논의 스레드가 하나도 없었습니다. 그래서 오늘 글은 개별 발언 인용보다는, 이 사건이 왜 구조적으로 예정된 일이었는지에 대한 분석 쪽에 무게를 두려 합니다. 세부 사실관계는 각자 원문으로 확인하시길 권합니다.

‘AI 슬롭’이라는 단어가 학계까지 왔습니다

‘슬롭(slop)‘은 원래 가축에게 주는 죽 같은 사료를 뜻합니다. 지금은 AI가 대량으로 뽑아낸, 그럴듯하지만 알맹이 없는 콘텐츠를 가리키는 말로 굳어졌는데요. 처음엔 SEO 낚시 블로그와 유튜브 자동 생성 영상 이야기였습니다. 그러다 아마존 전자책으로, 스택오버플로우 답변으로, 오픈소스 버그 리포트로 번졌습니다.

이제 연구 논문 차례입니다. 그것도 하필, AGI 측정을 주제로 한 대회에서 말이죠. 이게 논란이 되는 이유는 단순히 “AI가 썼다"가 아닙니다. 심사 과정이 그걸 걸러내지 못했다는 데 있습니다.

왜 심사는 슬롭을 못 걸러낼까요

여기서 중요한 지점을 짚고 넘어가야 합니다. 심사위원들이 게을러서가 아닙니다. 구조적인 문제입니다.

학술 심사는 원래 선의를 전제로 설계됐습니다. 논문 한 편을 쓰는 데 몇 달이 걸린다는 가정 위에 만들어진 시스템이라는 뜻인데요. 제출 비용이 높으니 심사 비용도 그 정도면 감당 가능했던 겁니다. 그런데 LLM이 그 전제를 깨버렸습니다. 제출 비용은 사실상 0에 수렴했는데, 심사 비용은 그대로입니다. 아니, 오히려 올라갔습니다. 이제는 “이게 사람이 쓴 게 맞나"를 추가로 판단해야 하니까요.

게다가 좋은 슬롭은 정말 잘 씁니다. 문장은 매끄럽고, 인용은 형식적으로 완벽하고, 구조는 교과서적입니다. 표면적 품질 신호를 기준으로 삼는 심사에게 이건 최악의 조합입니다. 겉이 번지르르할수록 통과 확률이 높아지는 시스템이니까요.

이 아이러니의 진짜 무게

한번 정리해 보겠습니다. AGI를 측정하겠다는 대회입니다. AGI 측정이 왜 어렵냐면, AI가 진짜 지능을 가진 건지 아니면 그럴듯한 패턴을 흉내 내는 건지 구분하기 어렵기 때문입니다. 그런데 그 대회의 심사가, AI의 그럴듯한 흉내와 사람의 진짜 연구를 구분하지 못했습니다.

즉 이 사건은 대회 운영의 실수인 동시에, 대회가 던진 질문에 대한 뜻하지 않은 답변이기도 합니다. “우리는 아직 흉내와 진짜를 구분하는 신뢰할 만한 방법이 없다"는 답변 말이죠. 상금 2만 5천 달러보다 이 사실이 훨씬 비쌉니다.

앞으로 무엇이 바뀌어야 할까요

몇 가지 방향이 거론됩니다. 첫째, 제출 비용을 다시 올리는 것입니다. 참가비, 사전 등록, 신원 확인 같은 마찰을 의도적으로 넣는 방식인데요. 문제는 이게 진입 장벽이 되어 실력 있는 무명 연구자를 밀어낸다는 점입니다.

둘째, 검증 가능한 결과물을 요구하는 것입니다. 재현 가능한 코드, 실행되는 실험, 공개된 데이터. 글은 생성하기 쉽지만 돌아가는 실험은 위조하기 어렵습니다. 개인적으로는 이쪽이 가장 현실적이라고 봅니다.

셋째, AI 탐지 도구 도입인데요. 이건 회의적입니다. 탐지기와 생성기는 같은 기술 위에 서 있어서, 결국 쫓고 쫓기는 게임이 됩니다. 그리고 오탐이 나면 억울한 진짜 연구자가 생깁니다.

마무리

이번 일은 특정 대회의 사고가 아니라 예고편에 가깝습니다. 생산 비용이 0이 된 세상에서, 심사와 큐레이션에 의존하는 모든 시스템은 같은 압력을 받게 됩니다. 학회도, 채용도, 오픈소스 기여도요.

그렇다면 질문은 이겁니다. 우리는 ‘잘 쓴 글’을 신뢰의 근거로 삼아온 습관을 얼마나 빨리 버릴 수 있을까요. 그리고 그 자리를 무엇으로 채워야 할까요. 저는 재현 가능성이 유력한 후보라고 생각하는데, 여러분 생각은 어떠신가요.