OpenAI Codex가 갑자기 멍청해졌다? '추론 토큰 뭉침'이라는 범인을 뜯어봤습니다

어제까지 멀쩡히 코드를 뽑아주던 도구가 오늘 갑자기 바보가 된 느낌, 개발자라면 한 번쯤 겪어보셨을 겁니다. 요즘 이 느낌을 GPT-5.5 Codex에 대해 호소하는 목소리가 늘고 있습니다. 벤치마크 점수는 그대로인데 실사용 체감은 떨어진다는 겁니다. 오늘은 그 범인으로 지목된 추론 토큰 뭉침(reasoning token clustering)이라는 현상을 파헤쳐 보겠습니다.

솔직하게 먼저 밝히자면, 이 주제는 지금 막 퍼지기 시작한 따끈한 이야기라 커뮤니티 논의가 아직 두텁지 않습니다. 지난 30일간 확인된 정식 토론 스레드가 사실상 없고, 관련 영상 몇 건이 오늘 자로 막 올라온 수준입니다. 그러니 확정된 결론이 아니라, 지금까지 나온 정황과 구조적 원리를 함께 따라가 보는 글로 읽어주시면 좋겠습니다.

‘점수는 그대로인데 체감은 나빠졌다’는 미스터리

가장 먼저 눈에 띄는 건 온도차입니다. 오늘 올라온 한 영상은 제목부터 대놓고 “GPT-5.5가 나빠지고 있나? 숨겨진 Codex 문제를 파헤친다"라고 묻습니다. 일본어권 AI 뉴스 채널에서도 ‘업계 격진 TOP5’라는 코너 제목으로 GPT-5.5 Codex의 성능 저하를 다뤘습니다. 서로 다른 언어권에서 같은 날 비슷한 문제의식이 튀어나온 셈입니다.

여기서 핵심은 ‘숨겨진(hidden)‘이라는 단어입니다. 공식 벤치마크 숫자는 크게 흔들리지 않는데, 실제로 며칠씩 붙잡고 쓰는 사람들만 체감하는 미묘한 저하가 있다는 뜻이거든요. 이런 지표와 체감의 괴리는 추론 모델에서 특히 자주 나타나는 패턴입니다.

‘추론 토큰 뭉침’이 대체 뭔가요

용어부터 풀어보겠습니다. GPT-5.5 Codex 같은 추론 모델은 답을 내기 전에 속으로 생각하는 과정을 거칩니다. 이 ‘속으로 생각하는’ 분량이 바로 추론 토큰(reasoning token)입니다. 사용자에게는 최종 답만 보이지만, 뒤에서는 문제를 쪼개고 가설을 세우고 검증하는 사고 과정이 토큰으로 소모되고 있는 거죠.

정상적인 상태라면 이 추론 토큰은 문제 난이도에 맞게 골고루 분배됩니다. 쉬운 부분엔 조금, 어려운 부분엔 많이 쓰는 식입니다. 그런데 토큰 뭉침은 이 배분이 한쪽으로 쏠리는 현상을 말합니다. 예를 들어 초반 몇 단계에 사고 예산을 몰아 쓰고, 정작 마지막 마무리 단계에서는 힘이 빠져 대충 끝내버리는 식입니다.

비유하자면 시험 시간 배분에 실패한 수험생과 비슷합니다. 1번 문제에 40분을 쏟다가 뒤쪽 문제는 찍고 나오는 거죠. 문제 하나하나를 푸는 실력(벤치마크)은 그대로인데, 실전 시험(실사용)에서는 점수가 떨어지는 이유가 여기 있습니다.

왜 하필 코딩에서 티가 날까요

이 현상이 유독 Codex, 즉 코딩 작업에서 도드라지는 데는 이유가 있습니다. 코딩은 앞뒤 맥락이 끝까지 이어져야 하는 작업이기 때문입니다.

일반적인 질문 답변은 앞부분이 조금 부실해도 결론만 맞으면 넘어갑니다. 하지만 코드는 다릅니다. 함수 앞머리에서 세운 변수 이름 규칙을 뒷부분에서 그대로 지켜야 하고, 초반에 잡은 예외 처리 방침을 마지막 줄까지 일관되게 밀고 가야 합니다. 추론이 초반에 몰리고 후반에 흐트러지면, 딱 그 경계에서 미묘한 버그가 생깁니다.

더 골치 아픈 건 이런 버그가 눈에 잘 안 띈다는 점입니다. 문법 오류처럼 대놓고 빨간 줄이 뜨는 게 아니라, 겉보기엔 멀쩡한데 특정 조건에서만 어긋나는 형태로 숨습니다. “왜 갑자기 멍청해졌지"라는 체감의 정체가 바로 이 잡기 어려운 잔버그들입니다.

벤치마크 숫자가 놓치는 것들

이 사건이 던지는 진짜 교훈은 따로 있습니다. 우리가 모델을 평가하는 방식 자체의 한계입니다.

대부분의 벤치마크는 문제 하나를 던지고 답 하나를 채점하는 단발성 테스트입니다. 짧고 독립적인 문제에서는 토큰이 뭉치든 말든 정답만 맞히면 만점입니다. 그래서 벤치마크 점수는 멀쩡하게 나옵니다.

하지만 실무는 다릅니다. 수백 줄짜리 파일을 다루고, 긴 대화를 이어가며 맥락을 쌓습니다. 추론 배분의 안정성이 진짜로 중요해지는 건 바로 이 긴 호흡의 작업에서입니다. 즉 벤치마크는 실력의 상한선은 재지만, 그 실력이 얼마나 꾸준히 유지되는지를 재는 데는 약합니다. 이번 ‘뭉침’ 논란은 그 사각지대를 정확히 찌른 셈입니다.

지금 우리는 이 이야기를 어떻게 받아들여야 할까요

한 가지 분명히 해둘 점이 있습니다. 아직 이건 확정된 진단이 아닙니다. OpenAI의 공식 인정도, 대규모 재현 실험도 나오지 않았습니다. 지금 도는 이야기는 실사용자들의 체감과 일부 영상 분석이 만들어낸 가설 단계에 가깝습니다. 데이터가 얇다는 점을 계속 염두에 두셔야 합니다.

그럼에도 이 논의가 의미 있는 이유는, 추론 모델을 쓰는 우리 모두에게 적용되는 질문을 던지기 때문입니다. 눈에 보이는 점수만 믿을 게 아니라, 실제 내 작업 흐름 안에서 도구가 끝까지 집중력을 유지하는지 스스로 관찰해야 한다는 겁니다.

여러분은 최근 쓰던 AI 코딩 도구가 갑자기 ‘멍청해진’ 느낌을 받은 적 있으신가요. 그게 정말 모델의 문제였는지, 아니면 내 기대치가 높아진 탓인지 한번 되짚어 보시면 어떨까요. 벤치마크 뒤에 숨은 진짜 성능을 읽어내는 눈, 지금 우리에게 가장 필요한 감각일지도 모릅니다.