모델은 똑똑해지는데 도구는 왜 멍청해질까: AI 코딩의 이상한 역설

최신 AI 모델이 나올 때마다 벤치마크 점수는 쭉쭉 올라갑니다. 그런데 이상하게도 실제 코딩할 때 “확실히 좋아졌다"는 체감은 그만큼 따라오지 않는데요. 오히려 “예전 도구가 더 편했는데” 하는 목소리도 심심찮게 들립니다. 왜 이런 역설이 벌어지는 걸까요.

한 가지 미리 말씀드리면, 이번 주제는 최근 30일 커뮤니티 데이터가 거의 잡히지 않았습니다. Reddit이나 Hacker News에서 실시간으로 뜨겁게 논의되는 상황은 아니라는 뜻인데요. 대신 개발자들 사이에서 꾸준히 회자되는 구조적인 이야기라, 데이터 열기보다는 논점 자체를 차분히 짚어보겠습니다.

모델이 아니라 하네스가 문제다

핵심 개념부터 정리하겠습니다. AI 코딩 도구는 크게 두 부분으로 나뉩니다. 하나는 모델, 즉 실제로 추론하고 코드를 짜는 두뇌입니다. 다른 하나는 하네스(harness)인데요. 모델에게 파일을 읽어주고, 명령어를 실행시키고, 결과를 다시 모델에게 물어다 주는 배관 역할을 합니다.

쉽게 비유하면 이렇습니다. 모델이 아무리 뛰어난 요리사라도, 주방 도구가 엉망이면 좋은 요리가 안 나옵니다. 칼이 무디고, 재료가 어디 있는지 알려주지 않고, 완성된 접시를 손님에게 잘못 전달하면요. 지금 벌어지는 논쟁의 핵심이 바로 여기입니다. 요리사(모델)는 계속 좋아지는데, 주방(하네스)은 그 속도를 못 따라가거나 심지어 발목을 잡는다는 거죠.

Armin Ronacher 같은 개발자들이 지적하는 지점도 여기에 있습니다. 모델의 능력치가 올라갈수록, 하네스가 만들어내는 마찰이 더 도드라져 보인다는 겁니다.

왜 더 좋은 모델일수록 도구가 더 거슬릴까

여기서 진짜 역설이 등장합니다. 상식적으로는 모델이 좋아지면 전체 경험도 좋아져야 할 것 같은데요. 실제로는 반대 현상이 나타납니다.

이유는 병목의 이동에 있습니다. 예전에는 모델 자체가 워낙 약해서, 도구가 조금 불편해도 티가 안 났습니다. 어차피 모델이 자주 틀렸으니까요. 그런데 모델이 똑똑해지면서 이야기가 달라집니다. 이제 실수의 원인이 모델이 아니라 도구 쪽으로 옮겨간 겁니다.

예를 들어볼까요. 똑똑한 모델이 “이 파일의 300번째 줄을 고치겠다"고 정확히 판단했는데, 하네스가 파일 일부만 잘라서 보여주는 바람에 300번째 줄이 애초에 안 보였다고 해봅시다. 모델은 잘못이 없습니다. 도구가 시야를 가린 거죠. 모델이 멍청할 때는 이런 실수가 묻혔지만, 모델이 똑똑해질수록 “왜 저걸 못 봤지"가 선명하게 드러납니다.

컨텍스트 관리라는 조용한 함정

하네스가 가장 크게 관여하는 영역이 바로 컨텍스트 관리입니다. 모델이 한 번에 볼 수 있는 정보의 양은 정해져 있는데요. 코드베이스는 그보다 훨씬 큽니다. 그래서 하네스가 “무엇을 보여주고 무엇을 잘라낼지"를 대신 결정합니다.

문제는 이 결정이 생각보다 거칠다는 점입니다. 대화가 길어지면 앞부분을 요약하거나 잘라내는데, 이 과정에서 정작 중요한 정보가 날아가기도 합니다. 사용자는 분명히 앞에서 말했는데, 모델은 “그런 얘기 들은 적 없다"는 식으로 반응하는 상황이 대표적입니다. 모델이 까먹은 게 아니라, 하네스가 그 기억을 지워버린 거죠.

여기서 흥미로운 반전이 있습니다. 모델의 컨텍스트 창이 커질수록 이 문제가 해결될 것 같지만, 꼭 그렇지도 않습니다. 창이 커지면 하네스가 더 많은 정보를 욱여넣으려 하고, 그러다 보면 정작 핵심 정보가 잡음에 묻히는 새로운 문제가 생깁니다. 도구 설계가 모델의 발전을 못 쫓아가는 전형적인 사례입니다.

도구가 많다고 좋은 게 아니다

또 하나의 함정은 도구 과잉입니다. 에이전트에게 이것저것 많은 기능을 붙여주면 더 유능해질 것 같지만, 현실은 반대인 경우가 많습니다. 선택지가 너무 많으면 모델이 헷갈립니다. 어떤 도구를 언제 써야 할지 판단하는 데 오히려 힘을 빼는 거죠.

비슷한 이름의 명령어가 열 개 있으면, 사람도 매번 뭘 골라야 할지 망설이지 않습니까. 모델도 마찬가지입니다. 잘 설계된 하네스는 도구를 많이 주는 게 아니라, 꼭 필요한 도구를 명확하게 주는 쪽입니다. “적은 게 더 낫다"는 원칙이 여기서도 통합니다.

그래서 좋은 하네스의 조건은 화려함이 아니라 절제입니다. 모델을 방해하지 않고, 필요한 것만 정확히 건네주고, 나머지는 모델의 판단에 맡기는 것. 말은 쉽지만 실제로 이 균형을 맞추기가 대단히 어렵습니다.

마무리: 다음 전장은 모델이 아니라 배관이다

정리하면 이렇습니다. AI 코딩의 다음 승부처는 모델 자체의 지능이 아니라, 그 지능을 온전히 끌어내는 하네스의 설계일 가능성이 큽니다. 아무리 좋은 두뇌라도 배관이 새면 물이 제대로 흐르지 않으니까요.

그래서 새 도구를 고를 때 벤치마크 점수만 보는 건 반쪽짜리 판단일 수 있습니다. 여러분은 어떠신가요. 최근 AI 코딩 도구를 쓰면서 “모델은 똑똑한 것 같은데 이상하게 답답하다"고 느낀 순간이 있으셨나요. 그 답답함의 정체는 어쩌면 모델이 아니라, 그 뒤에 숨은 배관이었을지도 모릅니다.