AI 회사가 안 알려주는 모델 차이, 커뮤니티가 직접 재고 있다 — Opus 4.6 vs 4.7 블라인드 리더보드의 등장

새 모델이 나올 때마다 우리는 같은 질문을 던집니다. “정말 더 좋아진 게 맞나요?” Anthropic이 Claude Opus 4.7을 내놓은 뒤, 개발자 커뮤니티에서는 공식 벤치마크 점수만으로는 답을 못 찾겠다는 목소리가 커지고 있습니다. 그래서 그들은 직접 측정하기 시작했습니다.

왜 갑자기 “블라인드 리더보드"인가요

AI 회사들이 발표하는 벤치마크는 늘 깔끔합니다. SWE-bench 몇 점, MMLU 몇 점, 전 세대 대비 몇 퍼센트 향상. 그런데 이 숫자들이 실제 업무에서 체감되는 차이와 자주 어긋난다는 게 문제입니다.

특히 Opus 4.6에서 4.7로 넘어오면서 개발자들 사이에서 두 가지 이야기가 돌고 있습니다. “더 똑똑해졌다”는 평과 “같은 질문에 토큰을 훨씬 더 쓴다”는 평이 동시에 나오는 거죠. 토큰을 더 쓴다는 건 곧 비용이 더 든다는 뜻입니다. API 청구서를 받아본 사람들이 가장 먼저 체감하는 변화입니다.

여기서 정보 비대칭이 발생합니다. 모델 제공자는 자기 모델의 자세한 토큰 소비 패턴을 공개하지 않고, 사용자는 한 달 청구서가 나와야 알게 됩니다. 그 간극을 메우려고 등장한 게 커뮤니티 주도의 블라인드 리더보드입니다.

어떻게 비교하는 건가요

방식은 단순하면서도 영리합니다. 같은 프롬프트를 두 모델에 넣고, 어느 모델이 답했는지 모르는 상태에서 사용자가 평가하게 합니다. 챗봇 아레나(Chatbot Arena)가 채택한 방식과 비슷한데, 여기서는 한 가지 변수가 더 추가됩니다. 토큰 사용량입니다.

리더보드 운영자들은 출력 품질뿐 아니라 같은 작업을 처리할 때 모델이 얼마나 많은 토큰을 소비했는지를 함께 측정합니다. 똑같은 코드 리뷰 요청에 4.6은 1,200토큰, 4.7은 2,800토큰을 썼다면, 품질이 비슷한 상황에서 4.7은 두 배 이상 비싼 셈이 됩니다.

이런 측정이 의미 있는 이유는 분명합니다. 모델이 길게 답한다고 해서 늘 좋은 답은 아니거든요. 오히려 장황한 사고 과정을 출력하느라 핵심을 놓치는 경우도 있고, 사용자 입장에서는 읽는 시간만 늘어납니다.

4.6과 4.7, 실제로 뭐가 다른가요

커뮤니티가 모은 데이터를 종합하면 대략 이런 그림이 그려집니다.

복잡한 추론 작업, 특히 멀티 스텝 코딩이나 긴 문서 분석에서는 4.7이 우위를 보입니다. 한 번에 더 많은 맥락을 잡고, 엣지 케이스를 놓치는 빈도가 줄었습니다. 반면 단순한 질의응답이나 짧은 요약에서는 4.6이 오히려 효율적인 경우가 많습니다. 4.7은 같은 질문에도 추론 과정을 길게 늘어놓는 경향이 있어서요.

비용 측면에서 보면 사용자들의 반응이 갈립니다. “답변 한 번에 토큰이 30~40% 더 든다”는 보고가 있는가 하면, “한 번에 끝내니까 결국 총 비용은 비슷하다”는 의견도 있습니다. 4.6에서는 두세 번 다시 묻던 작업을 4.7은 한 번에 해결한다는 거죠.

커뮤니티 측정의 한계도 분명합니다

물론 이 리더보드들이 완벽한 진실은 아닙니다. 표본이 편향될 수 있습니다. AI에 관심이 많은 헤비 유저들이 주로 참여하고, 그들이 던지는 질문은 일반 사용자의 평균적인 사용 패턴과 다를 수 있죠.

또 하나, 모델은 계속 업데이트됩니다. 같은 “Opus 4.7"이라도 출시 직후와 한 달 뒤의 동작이 미묘하게 다를 수 있어서, 한 시점의 리더보드 결과가 절대적 기준이 되긴 어렵습니다.

그럼에도 이런 시도가 의미 있는 이유는, 제공자가 알려주지 않는 것을 사용자가 직접 측정한다는 데 있습니다. AI 모델이 점점 더 많은 의사결정에 끼어드는 시대에, 그 모델의 행동을 외부에서 검증할 수 있는 메커니즘은 꼭 필요합니다.

우리에게 던지는 질문

블라인드 리더보드의 등장은 단순히 “어느 모델이 더 좋냐"의 문제가 아닙니다. AI 도구를 쓰는 우리 모두가 던져야 할 질문이 하나 더 생긴 거죠. “이 모델, 정말 내 작업에 맞는 비용으로 동작하고 있나?”

벤더가 주는 숫자만 믿지 말고, 가능하면 자기 워크플로우에서 직접 비교해보시는 걸 추천드립니다. 같은 프롬프트로 4.6과 4.7을 한 번씩 돌려보고, 토큰 사용량과 결과물의 만족도를 일주일만 기록해보세요. 마케팅 자료에 없는 진짜 차이가 보일 겁니다.