2+2에 30초를 고민하는 모델: Qwen 3.8 27B가 던진 '과잉 사고' 청구서

로컬에서 돌리는 오픈웨이트 모델이 요즘 정말 쓸 만해졌습니다. 27B 정도면 웬만한 맥북에서 돌아가고 코딩이나 수학 문제도 꽤 풀어냅니다. 그런데 써본 사람들 사이에서 똑같은 불만이 나옵니다. “2+2가 뭐야”라고 물었더니 모델이 30초를 고민하더라는 겁니다.

미리 밝혀둘 게 있습니다. 이 주제로 최근 30일간의 커뮤니티 데이터를 뒤졌는데 특정 모델 버전을 놓고 오간 최근 토론은 충분히 건지지 못했습니다. 그래서 개별 모델의 벤치마크 숫자를 파고드는 대신, 지난 1년 반 동안 추론 모델 전반에서 되풀이된 ‘과잉 사고(overthinking)’ 패턴과 그 뿌리를 정리하는 쪽으로 방향을 틀었습니다.

생각 토큰부터

추론 모델은 답을 바로 내놓지 않습니다. 답하기 전에 혼자 중얼거리는 단계를 거칩니다. “일단 문제를 정리해보자. 사용자가 원하는 건… 아니 잠깐, 다시 생각해보면…” 이런 게 화면에 그대로 보이거나 접힌 채로 쌓입니다. 이걸 생각 토큰(thinking tokens)이라고 부릅니다.

어려운 문제에서 이게 정확도를 끌어올리는 건 분명합니다. 수학 경시대회 문제나 꼬인 코드를 디버깅할 때는 이 중얼거림이 실제로 답을 바꿉니다. 문제는 모델이 난이도를 스스로 가늠하지 못한다는 겁니다. “프랑스 수도가 어디야"에도 똑같은 절차를 밟습니다. 파리라는 걸 이미 아는데도 혹시 트릭 문제는 아닌지 한참 따져봅니다.

청구서는 어디로 날아오나

우선 돈입니다. API로 쓰면 생각 토큰도 출력 토큰으로 과금됩니다. 답변은 20토큰인데 생각이 3,000토큰이면 실제 결과물의 150배를 내는 셈입니다. 로컬 모델이라 API 비용이 없다면 그 돈은 전기와 GPU 점유 시간으로 나갑니다.

실사용에서 더 아픈 건 지연입니다. 챗봇 UI에서 30초 기다리는 거야 참을 만합니다. 그런데 에이전트가 도구를 20번 호출하는 워크플로에서 매 호출마다 생각 단계가 붙으면 전체 작업이 10분짜리로 불어납니다. 파일 하나 읽고 넘어가면 되는 단순 스텝에서도 모델은 성실하게 고민합니다.

컨텍스트도 갉아먹습니다. 생각 토큰이 대화 이력에 남으면 컨텍스트 윈도우가 금세 찹니다. 대부분의 구현은 다음 턴에서 이전 생각 블록을 버리지만 그러지 않는 파이프라인은 몇 턴 만에 한계에 부딪힙니다.

왜 기본값이 ‘항상 생각하기’일까

모델을 내놓는 쪽 입장에서 보면 이유는 간단합니다. 벤치마크 점수 때문입니다.

모델이 공개되면 사람들이 가장 먼저 보는 게 벤치마크 표입니다. 생각을 켜면 어려운 벤치마크 대부분에서 점수가 올라갑니다. 반면 “쉬운 질문에는 빨리 답한다"를 재는 표준 벤치마크는 거의 없습니다. 아무도 재지 않는 지표를 굳이 최적화할 이유는 없죠. 기본값이 ‘항상 최대한 생각하기’로 수렴하는 게 이상하지 않습니다.

학습 방식도 한몫합니다. 추론 능력은 주로 강화학습으로 붙입니다. 정답을 맞히면 보상을 주는데, “짧게 답했다"에 보상을 따로 얹어주는 경우는 드뭅니다. 그러면 모델은 길게 생각하는 쪽이 안전하다고 배웁니다. 배점 큰 문제에 답을 길게 늘여 쓰는 수험생과 다르지 않습니다.

그래서 어떻게 다뤄야 하나

그래도 손쓸 방법이 없는 건 아닙니다.

모드를 나눠 쓰세요. 요즘 모델은 생각을 켜고 끄는 스위치를 대체로 제공합니다. 프롬프트에 특정 토큰을 넣거나 API 파라미터로 사고 예산을 지정하면 됩니다. 분류나 추출처럼 답의 모양이 정해진 작업은 생각을 꺼두는 편이 거의 항상 낫습니다.

앞단에 라우터를 두세요. 들어오는 요청의 난이도를 가볍게 먼저 판단해서 쉬운 건 작은 모델이나 비추론 모드로 넘기는 구조입니다. 앞에 붙는 분류기는 작고 빨라도 충분합니다. 비용 곡선을 가장 크게 꺾는 게 이겁니다.

사고 예산에 상한을 거세요. 무한정 생각하게 두지 말고 토큰 상한을 지정하는 겁니다. 상한에 걸리면 그 시점까지의 추론으로 답을 내게 합니다. 이렇게 잘라도 정확도가 크게 떨어지지 않는 경우가 많습니다. 뒤쪽 중얼거림은 대개 이미 나온 결론을 다시 확인하는 내용이거든요.

성능은 좋아졌는데

오픈웨이트 모델이 좋아진 건 반가운 일입니다. 다만 성능을 끌어올린 수단이 그대로 기본값이 되는 바람에 아무도 원하지 않은 비용까지 딸려 왔습니다. 벤치마크에 잘 나오는 설정과 매일 쓰기 좋은 설정은 애초에 다른 물건입니다.

모델을 고를 때 “얼마나 똑똑한가"만 볼 게 아니라 “쓸데없이 고민하지 않을 수 있는가”도 같이 봐야 할 것 같습니다. 지금 쓰시는 모델은 2+2에 몇 초를 쓰나요?