30억 파라미터가 Opus 4.5를 추론에서 이겼다고? — '작은 모델의 반란'이 다시 던지는 질문

“파라미터 30억짜리 모델이 Opus 4.5를 추론에서 이겼다.” 이 한 문장만 보면 누구나 멈칫합니다. 요즘 최전선 모델들은 수천억에서 조 단위 파라미터를 다루는데, 그 100분의 1도 안 되는 모델이 특정 영역에서 더 잘했다니까요. 오늘은 VibeThinker라는 3B 모델을 둘러싼 이야기를 풀어보겠습니다. 다만 먼저 솔직하게 말씀드릴 게 있습니다.

들어가기 전에: 이번 글은 데이터가 좀 부족합니다

평소에는 레딧, 해커뉴스, X 같은 커뮤니티의 실제 반응을 모아서 온도를 재는데요. 이번 주제는 최근 30일 기준으로 모을 수 있는 신선한 토론이 거의 없었습니다. 해커뉴스 쪽은 데이터 수집 자체가 실패했고, 레딧에서도 관련 스레드를 찾지 못했습니다.

그래서 오늘 글은 커뮤니티 여론을 인용하는 글이 아니라, “작은 모델이 큰 모델을 이긴다"는 주장 자체를 어떻게 읽어야 하는지를 정리하는 글에 가깝습니다. 구체적인 추천수나 댓글 수를 들이밀 수 없는 점은 미리 양해 부탁드립니다. 대신 이 현상이 왜 반복적으로 화제가 되는지, 그리고 이런 주장을 볼 때 무엇을 따져봐야 하는지에 집중하겠습니다.

“이겼다"는 말의 진짜 의미

가장 먼저 짚어야 할 건 “이겼다"는 단어의 범위입니다. 소형 모델이 거대 모델을 이겼다는 주장은 거의 항상 특정 벤치마크에 한정됩니다. VibeThinker 계열의 이야기도 마찬가지인데요. 핵심 무대는 수학 경시대회 문제(AIME 같은)나 코딩 문제처럼, 정답이 명확하고 채점이 자동화되는 영역입니다.

이게 왜 중요할까요. 수학과 경쟁 프로그래밍은 “정답이 딱 떨어지는” 분야입니다. 답이 맞았는지 틀렸는지를 기계가 즉시 판정할 수 있죠. 이런 영역은 모델이 한 가지 사고 패턴만 아주 깊게 파고들면 점수를 끌어올릴 수 있습니다. 반면 긴 문서 요약, 모호한 질문에 대한 판단, 여러 도구를 엮는 에이전트 작업처럼 정답이 흐릿한 일은 사정이 다릅니다.

그러니까 “3B가 Opus를 이겼다"는 문장은 정확히는 “좁고 명확한 추론 과제에서, 이 모델이 그 과제에 맞게 잘 다듬어졌다”로 번역하는 게 맞습니다. 범용 지능이 역전됐다는 뜻은 아닙니다.

비결은 크기가 아니라 ‘훈련 방식’

그럼 작은 모델이 어떻게 이런 점수를 냅니까. 핵심은 모델을 키우는 게 아니라 훈련을 정교하게 하는 것입니다. VibeThinker 같은 모델이 자주 거론하는 두 가지 재료를 풀어보겠습니다.

첫째는 SFT(지도 미세조정)입니다. 좋은 풀이 과정을 모아서 모델에게 “이렇게 단계를 밟아 생각해라"라고 가르치는 단계입니다. 정답만이 아니라 정답에 이르는 풀이 과정 자체를 학습시키는 거죠.

둘째는 GRPO입니다. 강화학습의 한 방식인데요. 쉽게 말하면, 같은 문제에 대해 모델이 여러 개의 답안을 만들어보게 한 뒤, 그중 잘한 답안에 더 높은 점수를 주면서 스스로를 교정하게 하는 방법입니다. 별도의 거대한 ‘평가용 모델’을 두지 않고, 한 묶음 안에서 답안끼리 상대 비교를 한다는 게 특징입니다. 그만큼 가볍고 효율적입니다.

요점은 이렇습니다. 파라미터를 100배 늘리는 대신, 어떤 데이터로 어떻게 보상을 주느냐를 정교하게 설계하면 작은 모델도 특정 과제에서 큰 모델을 따라잡을 수 있다는 것. 이게 최근 몇 년간 반복해서 등장한 ‘작은 모델의 반란’의 공통된 레시피입니다.

이건 처음이 아닙니다

사실 “작은 모델이 큰 모델을 이겼다"는 헤드라인은 주기적으로 돌아옵니다. 특정 수학 벤치마크에서 소형 오픈소스 모델이 상용 거대 모델을 앞섰다는 발표는 그동안 여러 번 나왔습니다. 그때마다 비슷한 패턴이 반복됐는데요.

처음엔 “와, 크기는 중요하지 않다"는 흥분이 터집니다. 그다음엔 “그 벤치마크 문제가 훈련 데이터에 섞여 있던 것 아니냐"는 의심이 따라붙습니다. 마지막으로 직접 써본 사람들이 “특정 문제는 잘 푸는데 조금만 벗어나면 무너진다"는 후기를 남기죠. 이 세 박자가 거의 공식처럼 반복됩니다.

그래서 이번 VibeThinker 이야기도 같은 렌즈로 봐야 합니다. 흥분할 만한 결과인 건 맞지만, 벤치마크 점수 하나로 모델의 전체 실력을 단정하기엔 이릅니다. 검증은 결국 다양한 사람들이 다양한 문제로 오래 굴려봐야 나옵니다. 그리고 이번엔 그 검증 단계의 커뮤니티 데이터가 아직 충분히 쌓이지 않았습니다.

그래도 이 흐름이 중요한 이유

비판적으로 봐야 한다고 해서 이 흐름이 시시하다는 뜻은 아닙니다. 오히려 반대입니다. 작은 모델이 좁은 영역에서나마 거대 모델을 따라잡는다는 건 실용적으로 큰 의미가 있습니다.

3B급 모델은 노트북이나 일반 GPU 한 장에서도 돌릴 수 있습니다. 클라우드 API 비용도, 응답 지연도 거대 모델과 비교가 안 됩니다. 만약 우리 회사 업무가 “정해진 형식의 문제를 정확히 푸는 것"에 가깝다면, 굳이 비싼 범용 거대 모델을 부를 이유가 없어집니다. 작고 특화된 모델을 싸게 돌리는 선택지가 생기는 거죠.

즉 이 경쟁의 진짜 메시지는 “거대 모델이 한물갔다"가 아니라, “이제 작업에 맞춰 모델 크기를 고르는 시대”라는 쪽입니다. 만능 한 대보다, 일에 맞는 도구를 골라 쓰는 감각이 점점 중요해지고 있습니다.

마무리

VibeThinker 3B 이야기를 한 줄로 줄이면 이렇습니다. “좁은 추론 과제에서, 똑똑한 훈련법으로 작은 모델이 거대 모델을 따라잡았다"는 흥미로운 주장이되, 아직 폭넓은 검증은 진행 중이라는 것. 이번엔 커뮤니티 데이터가 부족해 더더욱 조심스럽게 읽어야 합니다.

여러분이 다음에 “○○가 거대 모델을 이겼다"는 헤드라인을 보면 딱 두 가지만 물어보시면 됩니다. 어떤 벤치마크에서 이겼고, 그 점수는 누가 어떻게 검증했는가. 이 질문 하나로 진짜 혁신과 마케팅 문구를 꽤 잘 갈라낼 수 있습니다. 여러분이라면 비싼 만능 모델과 작고 빠른 특화 모델, 어느 쪽에 일을 맡기시겠습니까?