샤오미가 1조 파라미터 모델을 초당 1000토큰으로? 중국이 던진 '추론 속도' 승부수의 진실

스마트폰 만들던 회사가 1조 파라미터 AI 모델을 내놨다고 하면 어떤 생각이 드시나요. 그런데 그 모델이 초당 1000토큰을 뱉어낸다고 하면요. 요즘 해외 테크 커뮤니티에서 샤오미의 MiMo-v2.5-Pro-UltraSpeed라는 이름이 조용히 돌고 있는데요. 숫자만 보면 분명 자극적입니다. 다만 이 숫자를 곧이곧대로 받아들이기 전에, 따져봐야 할 것들이 꽤 많습니다.

먼저 솔직하게 말씀드릴 게 있습니다. 이번 주제는 아직 검증된 자료가 굉장히 빈약합니다. 지난 30일간 레딧이나 X(트위터)에서 의미 있는 토론은 거의 잡히지 않았고, 실질적으로 확인된 단서는 유튜브 영상 한 건 정도였습니다. 그래서 오늘 글은 “확정된 사실 정리"라기보다, 이 숫자가 무엇을 의미하는지 그리고 어디까지 믿어야 하는지를 짚어보는 방향으로 가겠습니다.

1조 파라미터 + 초당 1000토큰, 이게 왜 이상한 조합인가

일단 두 숫자가 동시에 등장한다는 점부터 짚어야 합니다. 보통 모델이 크면 느립니다. 파라미터가 많을수록 한 토큰을 만들 때 거쳐야 하는 계산량이 늘어나기 때문인데요. 1조(1T) 파라미터는 현존 최상급 모델 수준의 규모입니다.

그런데 초당 1000토큰은 보통 작고 빠른 모델에서나 나오는 속도입니다. 참고로 사람이 빠르게 읽는 속도가 분당 수백 단어 정도인데요. 초당 1000토큰이면 사람이 읽는 속도의 수십 배로 글이 쏟아진다는 뜻입니다. 그러니까 “엄청 크다"와 “엄청 빠르다"를 한 모델이 동시에 주장하는 셈이고, 이건 기술적으로 그냥 넘어갈 수 없는 조합입니다.

핵심은 ‘MoE’라는 트릭에 있습니다

이 모순을 푸는 열쇠는 십중팔구 MoE(Mixture of Experts) 구조일 겁니다. 모델 이름에 굳이 ‘UltraSpeed’를 붙인 것도 이 점을 강조하려는 의도로 보입니다.

MoE를 쉽게 풀면 이렇습니다. 1조 파라미터를 통째로 다 쓰는 게 아니라, 내부를 여러 명의 ‘전문가(expert)‘로 쪼개 놓습니다. 그리고 질문이 들어오면 그중 일부 전문가만 골라서 작동시킵니다. 회사 전체 직원이 1000명이어도, 한 업무에 실제로 투입되는 건 몇 명뿐인 것과 비슷합니다.

그래서 ‘총 파라미터’는 1조여도, 실제로 한 토큰을 만들 때 활성화되는(activated) 파라미터는 그보다 훨씬 적습니다. 바로 이 차이가 속도를 만들어 냅니다. 그러니 만약 누군가 “1조 모델인데 이렇게 빠르다"고만 강조한다면, 그건 절반의 진실일 가능성이 큽니다. 정직한 비교라면 활성 파라미터 수치를 함께 봐야 합니다.

‘초당 1000토큰’은 어떤 조건에서 나온 숫자일까

속도 숫자는 늘 조건이 붙습니다. 같은 모델이라도 환경에 따라 몇 배씩 차이가 나기 때문인데요. 마케팅용 숫자를 볼 때 꼭 확인해야 할 항목들이 있습니다.

첫째, 배치 처리인지입니다. 여러 요청을 한꺼번에 묶어서 처리한 총합 속도라면, 사용자 한 명이 체감하는 속도와는 다릅니다.

둘째, 어떤 하드웨어에서 쟀는지입니다. 최신 고성능 가속기 여러 장을 붙인 환경과, 일반적인 서버 환경의 숫자는 완전히 다릅니다.

셋째, 전용 추론 칩 여부입니다. 최근 빠른 속도 기록들은 모델 자체보다 특화된 추론 인프라 덕인 경우가 많습니다. 즉 “모델이 빠르다"가 아니라 “이 인프라에서 돌리면 빠르다"일 수 있다는 거죠.

이 세 가지 조건이 공개되지 않은 상태의 “초당 1000토큰"은, 사실 해석의 여지가 아주 큰 숫자입니다.

왜 지금 ‘속도’가 새로운 전쟁터가 됐나

여기서 한발 물러나 큰 그림을 볼 필요가 있습니다. 한동안 AI 경쟁의 키워드는 ‘얼마나 똑똑한가’, 즉 벤치마크 점수였습니다. 그런데 점수 경쟁이 상향 평준화되면서, 이제 무게추가 속도와 비용으로 옮겨가고 있습니다.

이유는 단순합니다. 모델이 충분히 똑똑해지면, 그다음 질문은 “이걸 얼마나 싸고 빠르게 굴릴 수 있냐"가 되기 때문입니다. 속도가 빠르면 같은 서버로 더 많은 사용자를 받을 수 있고, 그만큼 비용이 내려갑니다. 실시간 음성 비서나 에이전트처럼 빠른 응답이 필수인 서비스에서는 더더욱 그렇습니다.

샤오미가 ‘UltraSpeed’를 전면에 내세운 건 이 흐름을 정확히 읽었다는 신호로 볼 수 있습니다. 스마트폰부터 가전, 전기차까지 자사 기기에 AI를 깔아야 하는 회사 입장에서, ‘빠르고 싼 추론’은 추상적 자랑거리가 아니라 생존 조건에 가깝습니다.

그래서, 얼마나 믿어야 할까

냉정하게 정리하겠습니다. 현재로서는 독립적으로 검증된 벤치마크나 신뢰할 만한 제3자 테스트가 거의 없습니다. 앞서 말씀드린 대로 커뮤니티 토론도 빈약하고, 출처도 제한적입니다. 그러니 지금 단계의 “1조 파라미터, 초당 1000토큰"은 검증된 사실이 아니라 주장으로 받아들이는 게 안전합니다.

그렇다고 무시할 이야기도 아닙니다. 중국 빅테크들이 모델 규모뿐 아니라 추론 속도와 비용에서 공격적으로 치고 들어오는 흐름 자체는 분명하기 때문입니다. 샤오미의 이번 발표가 진짜든 부풀려진 것이든, 경쟁의 무대가 ‘점수’에서 ‘속도와 효율’로 넘어가고 있다는 신호로는 충분합니다.

확인해야 할 체크리스트는 명확합니다. 활성 파라미터가 얼마인지, 어떤 하드웨어와 조건에서 잰 속도인지, 그리고 제3자가 같은 결과를 재현할 수 있는지. 이 세 가지가 공개되기 전까지는, 숫자에 흥분하기보다 물음표를 달아두는 편이 현명합니다.

여러분은 어떻게 보시나요. 이제 AI 경쟁에서 ‘얼마나 똑똑한가’보다 ‘얼마나 빠르고 싼가’가 더 중요한 시대가 오고 있는 걸까요.