중국 모델이 1위에 올랐습니다 — Qwen3.8 Max와 '에이전틱 지수'라는 새 저울

“중국 모델이 미국을 따라잡고 있다"는 말은 지난 2년간 수십 번 나왔습니다. 이번엔 시제가 다릅니다. 따라잡는 중이 아니라 특정 지표에서는 이미 1위라는 겁니다. 알리바바의 Qwen3.8 Max가 에이전틱 성능 지표에서 프론티어 모델들을 제쳤다는 소식인데요. 박수를 치기 전에 확인할 게 하나 있습니다. 그 지표, 정확히 뭘 재는 걸까요.

미리 밝혀둡니다. 이번 주제는 커뮤니티 데이터가 거의 없습니다. 최근 30일 레딧 스레드를 훑었는데 이 순위를 두고 오간 토론다운 토론을 못 찾았습니다. 그래서 이 글은 여론 분석이라기보다, 이런 순위표를 어떻게 읽을지에 관한 이야기입니다.

‘에이전틱 지수’는 기존 벤치마크와 무엇이 다른가

기존 LLM 벤치마크는 대부분 단발성이었습니다. 문제를 주고, 답을 받고, 채점합니다. MMLU도 GPQA도 구조는 같습니다. 시험지 한 장을 푸는 겁니다.

에이전틱 지수는 다릅니다. 모델에게 도구를 쥐여주고 여러 단계를 스스로 밟게 합니다. 파일을 읽고, 명령어를 실행하고, 결과를 보고 다시 판단하고, 실패하면 되돌아옵니다. 채점 대상은 최종 답이 아니라 과정 전체입니다.

이게 왜 중요하냐면, 지금 업계가 돈을 쓰는 지점이 정확히 여기이기 때문입니다. 코딩 에이전트, 고객 응대 자동화, 브라우저 조작 봇. 전부 여러 턴을 버텨야 하는 작업입니다. 한 턴에서 95점을 받던 모델이 열 턴을 이어가면 60점으로 주저앉는 일이 흔합니다. 에이전틱 지수는 그 낙차를 잡아내려는 시도입니다.

이 지표의 1등은 예전 벤치마크 1등보다 실제 제품 성능에 가까운 신호입니다. 가깝다는 거지, 같다는 뜻은 아니고요.

순위를 의심해야 하는 세 가지 이유

첫째, 합산 점수는 마법 같은 물건입니다. 에이전틱 지수는 여러 하위 태스크 점수를 묶어 하나의 숫자로 만듭니다. 어떤 태스크에 얼마나 가중치를 주느냐에 따라 1등과 3등이 뒤바뀝니다. 코드 실행 비중을 높이면 A 모델이, 장문 추론 비중을 높이면 B 모델이 이깁니다. 합산 점수 1위는 “이 저울 위에서 1위"라는 뜻입니다.

둘째, 벤치마크는 공개되는 순간부터 오염됩니다. 어떤 평가가 업계 표준이 되면 모든 연구소가 그 평가를 잘 보는 쪽으로 학습 데이터와 후처리를 조정합니다. 부정행위가 아니라 자연스러운 최적화입니다. 다만 그 결과로 벤치마크 점수와 실사용 체감이 벌어집니다. 지난 몇 년간 반복된 패턴입니다.

셋째, 순위는 상대적이고 순간적입니다. 프론티어 모델은 몇 달 주기로 갱신됩니다. 어느 시점의 1위는 다음 릴리스 사이클까지만 1위입니다. “중국이 앞섰다"는 서사보다 “격차가 측정 오차 수준으로 좁혀졌다"는 표현이 더 정확할 겁니다. 좁혀졌다는 것, 그게 진짜 뉴스입니다.

진짜 변수는 순위가 아니라 가격과 라이선스

Qwen 계열이 시장에서 존재감을 키운 결정적 이유는 벤치마크 점수가 아니었습니다. 오픈 웨이트 전략이었습니다.

모델 가중치를 공개하면 따라오는 게 있습니다. 자체 서버에서 돌릴 수 있고, 파인튜닝할 수 있고, 데이터를 외부로 내보내지 않아도 됩니다. 금융, 의료, 공공처럼 데이터 반출이 어려운 영역에서는 성능 몇 퍼센트보다 이쪽이 훨씬 큽니다.

가격도 마찬가지입니다. 에이전틱 워크로드는 토큰을 험하게 먹습니다. 한 작업에 수십 번 호출이 오가니까요. 동급 성능에서 토큰 단가가 낮으면 그것만으로 경쟁력입니다. 성능이 근소하게 낮아도 가격이 크게 낮으면 많은 팀이 갈아탑니다. 개발자 커뮤니티에서 오픈 웨이트 모델 이야기가 나올 때 첫 문장은 대개 점수가 아니라 비용입니다.

그러니 이번 소식의 핵심은 “중국 모델이 더 똑똑해졌다"가 아닐 수 있습니다. “프론티어급 성능이 오픈 웨이트로 풀리기 시작했다"는 쪽에 가깝습니다.

그래서 지금 무엇을 해야 하나

실무자라면 할 일은 단순합니다. 순위표를 믿지 말고 자기 작업으로 직접 재보면 됩니다.

에이전틱 평가는 특히 그렇습니다. 도구를 어떻게 정의했는지, 프롬프트를 어떻게 짰는지, 재시도를 몇 번 허용하는지에 따라 같은 모델 성능이 크게 흔들립니다. 벤치마크 환경과 여러분 파이프라인은 같지 않습니다. 실제로 쓰는 태스크 20~30개를 골라 자체 평가셋을 만드는 편이 어떤 리더보드보다 정확합니다.

덧붙이면, 모델을 하나에 묶지 않는 설계가 갈수록 유리합니다. 이번 분기 1위가 다음 분기에도 1위일 확률은 높지 않습니다. 교체 가능한 구조로 만들어두면 순위표가 바뀔 때마다 흔들리지 않아도 됩니다.

마무리

리더보드 1위는 뉴스거리지만, 의사결정 근거로는 약합니다. 진짜 신호는 순위가 아니라 프론티어 성능과 오픈 웨이트 사이의 거리가 좁아지고 있다는 점입니다.

질문 하나 남깁니다. 성능 차이가 5퍼센트고 비용 차이가 5배라면, 여러분은 어느 쪽을 고르시겠습니까. 답은 팀마다 다를 겁니다. 다만 그 답을 순위표가 대신 정해주지는 않습니다.