논문 속 '신장 실망'이라는 괴상한 표현 — 표절 탐지를 피하려다 들통난 논문 공장의 민낯

의학 논문을 읽다가 kidney disappointment라는 표현을 만났다고 해봅시다. 우리말로 옮기면 “신장 실망"쯤 됩니다. 멀쩡한 의학 용어는 kidney failure, 즉 신부전이죠. 그런데 이런 표현이 박힌 논문이 실제로 수백 편 출판돼 있습니다. 오타도 아니고 비영어권 저자의 실수도 아닙니다. 표절 탐지 소프트웨어를 피하려고 기계가 단어를 갈아끼운 흔적입니다.

왜 하필 ‘신장 실망’인가

원리는 허무할 만큼 단순합니다. 논문을 통째로 베낀 다음 자동 패러프레이징 도구에 넣고 돌립니다. 이 도구는 문장의 뜻을 모릅니다. 그냥 동의어 사전을 뒤져 단어를 바꿉니다. failure에는 “실패"라는 뜻도 있고 “실망시키다"라는 뜻도 있으니 disappointment로 바꿔도 사전상으로는 틀린 게 아닙니다. 문제는 kidney failure가 통째로 하나의 의학 용어라는 점입니다. 단어 단위로 쪼개는 순간 의미가 증발합니다.

이런 표현을 학계에서는 tortured phrases, 직역하면 “고문당한 표현"이라고 부릅니다. 프랑스 그르노블알프대학의 기욤 카바냑 연구팀이 2021년 논문에서 붙인 이름입니다. 발견 계기가 재미있는데, 컴퓨터공학 논문에 artificial intelligence 대신 counterfeit consciousness(위조된 의식)라는 말이 자꾸 나오는 걸 이상하게 여긴 데서 시작됐습니다.

모아놓고 보면 웃픈 이유

지금까지 나온 목록을 보면 실소가 나옵니다. big data가 colossal information(거대한 정보)이 되고, cloud computing이 haze figuring(안개 계산)이 됩니다. random forest는 irregular timberland(불규칙한 삼림지)로, signal to noise ratio는 flag to commotion proportion(깃발 대 소란 비율)로 변신합니다. mean square error는 mean square blunder가 됐고요.

전공자라면 1초 만에 이상하다고 느낄 표현입니다. 문제는 이 논문들이 동료 심사를 통과해 정식 출판됐다는 점입니다. 심사자가 읽지 않았거나, 읽고도 넘어갔거나, 애초에 심사라는 게 없었다는 뜻이죠. 어느 쪽이든 학술 출판 시스템이 꽤 아프다는 신호입니다.

논문 공장이라는 산업

배경에는 페이퍼 밀(논문 공장)이 있습니다. 돈을 받고 논문을 찍어내 파는 조직입니다. 저자 자리에 순서대로 값을 매겨 팔기도 합니다. 1저자는 비싸고 3저자는 저렴한 식이죠.

수요는 분명합니다. 승진과 졸업, 연구비 심사가 논문 편수로 갈리는 나라와 기관이 여전히 많습니다. 질은 재기 어려우니 개수를 셉니다. 그러면 개수를 채워주는 산업이 생깁니다. 인센티브를 잘못 걸면 어떻게 되는지 보여주는 표본이죠.

카바냑 연구팀은 이 문제를 잡아내려고 Problematic Paper Screener라는 도구를 만들어 공개 운영하고 있습니다. 이미 알려진 고문 표현 목록으로 출판된 논문을 자동 검색하는 방식입니다. 지금까지 수천 편이 걸려들었습니다. 그중 상당수가 실제로 철회됐고, 학술지 하나가 통째로 문을 닫은 경우도 있습니다.

AI가 등장하면서 판이 바뀌었습니다

여기까지가 2021년부터 2023년까지의 이야기입니다. 진짜 문제는 그다음입니다.

고문 표현은 사실 탐지하는 쪽 입장에서는 축복이었습니다. 조잡한 동의어 치환 도구가 남긴 흔적이 워낙 선명해서 목록만 있으면 기계적으로 걸러낼 수 있었으니까요. 일종의 지문이었던 셈입니다.

그런데 요즘 대규모 언어 모델은 그런 흔적을 남기지 않습니다. 문장을 자연스럽게 고쳐 씁니다. kidney failure는 kidney failure로 그냥 둘 줄 압니다. 고유 용어와 일반 단어를 구분하니까요. 탐지 가능한 조잡함이 사라졌습니다.

더 골치 아픈 신호도 있습니다. 최근 논문에서 “As an AI language model, I cannot…” 같은 챗봇 응답 문구가 본문에 그대로 박힌 채 출판된 사례가 여러 번 나왔습니다. 심지어 서론에 “Regenerate response"라는 버튼 문구가 남아 있던 논문도 있었고요. 이건 실수로 흔적을 남긴 극소수 사례일 뿐입니다. 흔적을 남기지 않은 논문이 몇 편인지는 아무도 모릅니다.

우리가 진짜 걱정해야 할 것

오염된 논문은 인용됩니다. 인용된 논문은 다른 논문의 근거가 됩니다. 그 논문은 또 인용됩니다. 가짜 데이터에서 나온 주장이 학술 문헌이라는 신뢰 네트워크 안으로 파고들어 뿌리를 내립니다.

여기에 한 겹이 더 붙습니다. 요즘 AI 모델은 학술 문헌을 학습 데이터로 씁니다. 오염된 논문을 학습한 모델이 다시 논문 쓰는 일을 돕습니다. 그렇게 한 바퀴가 돕니다.

의학이라면 이야기가 훨씬 무거워집니다. 메타 분석은 개별 논문을 모아 결론을 냅니다. 그 결론이 진료 지침이 됩니다. 지침은 실제 환자의 치료를 결정합니다. 어딘가에서 “신장 실망"이라고 쓴 논문이 그 사슬에 끼어 있을 수 있다는 얘기입니다.

마무리

우리는 지금 AI가 만든 문제를 AI가 아니면 잡을 수 없는 자리에 와 있습니다. 사람이 일일이 읽어서 걸러내기엔 논문이 너무 많이 쏟아집니다.

해법은 탐지 기술보다 인센티브 쪽에 있을 겁니다. 논문 편수로 사람을 평가하는 한 편수를 채워주는 산업은 사라지지 않습니다. 탐지 도구가 아무리 좋아져도 창과 방패 싸움일 뿐이고요.

“신장 실망"은 웃긴 표현입니다. 하지만 웃을 수 있었던 건 그게 눈에 보였기 때문입니다. 지금 우리가 읽는 논문 중 눈에 보이지 않는 건 몇 편일까요.

참고: 이 글은 tortured phrases 현상을 다룬 공개 연구와 사례를 바탕으로 정리했습니다. 최근 30일 내 커뮤니티 논의 데이터는 구하지 못해, 2021년 이후 쌓인 자료와 알려진 사례를 중심으로 썼습니다.