67센트로 ARC-AGI 44%…AI 경쟁의 기준이 달라졌습니다

AI 성능을 이야기할 때 그동안 가장 먼저 거론된 것은 모델 크기와 점수였습니다. 그런데 ARC-AGI-1에서 44%를 기록하고도 추론 비용은 67센트에 그쳤다는 벤치마크 결과가 새로운 질문을 던집니다. 이제는 “얼마나 똑똑한가”뿐 아니라 “그 답을 얼마에 얻었는가”도 중요합니다.

ARC-AGI는 무엇을 시험하나

ARC-AGI는 단순히 지식을 묻는 퀴즈가 아닙니다. 몇 개의 입출력 예시를 보고 그 안에 숨어 있는 규칙을 찾아내는 벤치마크입니다.

예를 들어 색깔 블록이 일정한 방식으로 이동하거나 변형되는 예시를 보여줍니다. AI는 이 예시를 바탕으로 처음 보는 문제의 답을 만들어야 합니다. 인터넷에서 비슷한 문장을 찾아 붙이는 것만으로는 풀기 어렵습니다.

그래서 ARC-AGI는 AI의 추상화 능력과 낯선 문제에 적응하는 능력을 살펴보는 시험으로 자주 언급됩니다. 사람에게는 간단해 보이는 퍼즐도 AI에는 까다로울 수 있습니다. 어떤 정보가 중요한지 스스로 가려내야 하기 때문입니다.

이번에 나온 44%라는 수치도 이런 맥락에서 살펴봐야 합니다. 절반을 넘지 못했으니 낮은 점수라고 볼 수도 있습니다. 하지만 제한된 비용으로 낯선 규칙을 상당수 찾아냈다는 점은 눈여겨볼 만합니다.

진짜 놀라운 숫자는 44%보다 67센트입니다

벤치마크 점수만 놓고 보면 이미 더 높은 기록이 있을 가능성이 있습니다. 이번 사례에서 특히 눈에 띄는 것은 성능과 비용의 조합입니다.

AI는 답을 내놓기 전에 여러 후보를 만들 수 있습니다. 잘못된 접근을 버리고 처음부터 다시 시도하기도 합니다. 이 과정을 오래 반복하면 정답률은 높아지지만 연산량과 비용도 함께 늘어납니다.

그런 점에서 추론 비용은 시험시간과 비슷합니다. 한 문제를 며칠 동안 고민할 수 있는 참가자와 몇 분 안에 답해야 하는 참가자의 점수를 같은 기준으로 비교하기는 어렵습니다.

67센트라는 비용에 의미가 있는 것도 이 때문입니다. 값비싼 탐색을 끝없이 반복하지 않고 44%에 도달했다면 추론 과정이 그만큼 효율적으로 바뀌었다는 신호일 수 있습니다. 거대한 모델을 매번 최대한 가동하지 않고 필요한 계산에만 집중했을 가능성도 있습니다.

다만 비용을 어디까지 계산했는지는 확인해야 합니다. 모델 호출료만 포함했는지, 여러 차례의 재시도와 외부 도구 사용까지 계산했는지에 따라 숫자의 의미는 달라집니다. 하드웨어 가격이나 할인 조건이 바뀌어도 결과가 달라질 수 있습니다.

AI 경쟁은 ‘최고 점수’에서 ‘가성비 곡선’으로 이동합니다

초기 생성형 AI 경쟁에서는 파라미터 수가 강력한 홍보 수단으로 쓰였습니다. 더 큰 모델을 더 많은 데이터로 학습하면 대체로 성능이 좋아졌기 때문입니다.

하지만 실제 서비스를 운영하는 기업은 다르게 계산합니다. 답변 한 건의 정확도가 조금 높아지더라도 비용이 10배로 늘어나면 적용하기 어렵습니다. 이용자가 많아질수록 작은 비용 차이도 쌓여 큰 부담이 됩니다.

앞으로는 최고 점수 하나보다 정확도와 비용의 균형이 더 중요해질 가능성이 큽니다. 같은 44%를 10달러에 얻는 방식과 67센트에 얻는 방식은 사업적 가치가 전혀 다릅니다.

이런 변화는 작은 모델에도 기회가 됩니다. 문제를 여러 단계로 나누고 유망한 답만 골라 검증하거나, 쉬운 문제와 어려운 문제에 서로 다른 연산량을 배정하면 모델 크기에서 오는 한계를 어느 정도 보완할 수 있습니다.

쉽게 말하면 AI 업계가 엔진 크기 경쟁에서 연비 경쟁으로 넘어가는 셈입니다. 엔진이 가장 강하다고 언제나 가장 좋은 제품인 것은 아닙니다. 시장에서는 같은 연료로 더 멀리 가는 시스템이 더 쓸모 있을 수 있습니다.

기업이 봐야 할 것은 모델 이름이 아니라 총비용입니다

이런 흐름은 AI 도입을 검토하는 기업에도 중요한 기준을 제시합니다. 벤치마크 1위 모델을 고르는 것만으로는 충분하지 않습니다.

실제 비용에는 입력과 출력 토큰 외에도 재시도, 검증, 응답 지연, 실패 처리 비용이 들어갑니다. 정답률이 높더라도 매번 사람이 결과를 확인해야 한다면 자동화로 얻는 효과는 줄어듭니다.

반대로 성능이 조금 낮아도 저렴한 비용으로 여러 후보를 만든 다음 규칙 기반 검증을 거치는 편이 나을 수 있습니다. 고객 문의 분류나 문서 정리처럼 반복 작업이 많은 업무에서는 이런 차이가 특히 크게 나타납니다.

따라서 앞으로의 AI 성능표에는 정확도뿐 아니라 건당 비용, 처리 시간, 실패율도 함께 표시돼야 합니다. 자동차를 살 때 최고속도만 보지 않는 것과 같은 이유입니다.

아직은 숫자를 신중하게 읽어야 합니다

이번 주제와 관련된 2026년 8월 2일부터 9월 1일까지의 최근 커뮤니티 반응은 충분히 확인되지 않았습니다. Reddit 자료 역시 수집 오류로 검증하지 못했으므로 추천수나 댓글 의견만으로 여론을 단정하기는 어렵습니다.

또 단일 벤치마크만 보고 범용 인공지능에 도달했는지를 판단할 수는 없습니다. ARC-AGI 퍼즐을 잘 푸는 것과 장문의 문서를 분석하거나 현실의 업무를 안정적으로 처리하는 것은 서로 다른 능력입니다.

그래도 44%와 67센트의 조합이 전하는 메시지는 분명합니다. 다음 AI 경쟁의 승자는 가장 큰 모델이 아니라 필요한 순간에 필요한 만큼만 생각하는 시스템일 수 있습니다. 여러분이라면 최고 점수를 내는 AI와 비용 대비 효율이 높은 AI 중 어느 쪽을 실제 업무에 선택하시겠습니까?