500달러 파인튜닝이 프런티어 모델을 이겼습니다 — 기업 AI, 정말 최고 모델이 필요할까요

요즘 기업 AI 도입 회의에 들어가 보면 대화가 거의 똑같이 흘러갑니다. 어떤 모델을 쓸까요, 가장 좋은 걸로 갑시다, 토큰 단가가 이 정도네요, 그럼 예산은 이만큼이요. 그런데 최근 개발자 커뮤니티에 조용히 도는 사례 하나가 이 흐름을 한 번 멈칫하게 만듭니다. 90억 파라미터짜리 오픈 모델을 500달러어치 강화학습으로 다듬었더니, 상품 카탈로그 검수라는 한 가지 작업에서 프런티어 모델보다 나은 결과가 나왔다는 겁니다.

먼저 솔직히 말씀드리겠습니다. 이 사례는 아직 커뮤니티가 폭넓게 검증하거나 따져본 이야기가 아닙니다. 최근 30일 기준으로 관련 논의를 찾아봤지만 스레드 하나 확인하지 못했습니다. 그래서 오늘은 “이 사례가 사실이면 무엇을 의미하는가"를 붙잡고 가겠습니다. 숫자 하나하나보다 그 뒤에 있는 구조가 훨씬 중요합니다.

카탈로그 검수라는 작업의 정체

카탈로그 검수는 이커머스나 유통 회사가 매일 처리하는 반복 업무입니다. 판매자가 올린 상품 정보를 보고 판단합니다. 카테고리가 맞게 들어갔는지, 제목에 금지 문구가 없는지, 이미지와 설명이 일치하는지, 규격 표기가 회사 기준에 맞는지.

눈여겨볼 건 이 일의 성격입니다. 판단 기준이 회사마다 다른데, 그 기준이 문서로 남아 있고 정답과 오답도 분명합니다. 세상의 모든 지식이 필요한 일이 아닙니다. “이 회사의 규칙 200개"를 정확히 적용하는 일입니다.

프런티어 모델은 이걸 잘합니다. 다만 잘하는 방식이 좀 낭비스럽습니다. 셰익스피어를 인용하고 미분방정식을 풀고 12개 언어로 코드를 짜는 모델한테 “이 상품 카테고리가 맞나요"를 물어보는 셈입니다. 답은 제대로 나옵니다. 그런데 그 답을 내는 데 모델이 가진 능력의 대부분은 놀고 있습니다.

왜 작은 모델이 이길 수 있는가

그래서 강화학습 이야기가 나옵니다. 흔한 파인튜닝은 “이런 입력에는 이렇게 답해라"를 예시로 가르칩니다. 강화학습은 조금 다릅니다. 모델이 답을 내면 채점하고 점수가 높아지는 쪽으로 모델을 밀어줍니다. 사람이 자전거를 배우는 방식에 가깝습니다.

카탈로그 검수는 이 방식과 궁합이 대단히 좋습니다. 채점을 자동으로 돌릴 수 있기 때문입니다. 이미 사람이 검수한 과거 데이터가 회사 안에 수만 건씩 쌓여 있습니다. 모델의 판단과 사람의 판단을 대조하면 즉시 점수가 나옵니다. 라벨링에 따로 돈이 들지 않습니다.

이게 500달러라는 숫자의 배경입니다. 채점기가 공짜고 작업 범위가 좁으면, 90억 파라미터 모델을 원하는 방향으로 밀어넣는 데 드는 연산량은 생각보다 적습니다. GPU 몇 장을 며칠 빌리는 수준입니다.

결과가 프런티어 모델을 넘어서는 까닭도 여기 있습니다. 범용 모델은 “일반적으로 합리적인 판단"을 합니다. 파인튜닝된 모델은 “이 회사가 실제로 내리는 판단"을 합니다. 이 둘은 자주 어긋납니다. 어떤 회사는 특정 표현을 금지어로 보고 다른 회사는 허용합니다. 범용 모델은 이 차이를 모릅니다. 프롬프트로 알려줄 수는 있지만 규칙이 200개쯤 되면 프롬프트가 소설이 되고 모델은 뒤쪽 규칙을 슬슬 놓치기 시작합니다.

그래서 다들 이렇게 하면 되는 걸까요

아닙니다. 이 사례가 통하는 조건이 꽤 까다롭습니다.

첫째, 작업이 좁고 안정적이어야 합니다. 카탈로그 검수는 3년 뒤에도 카탈로그 검수입니다. 반면 “고객 문의에 답하는 챗봇"처럼 입력 범위가 열려 있는 일은 파인튜닝으로 얻을 게 확 줄어듭니다.

둘째, 채점 기준이 명확해야 합니다. 정답이 있어야 강화학습이 굴러갑니다. “좋은 마케팅 문구를 써라” 같은 작업은 채점기를 만드는 것 자체가 본 게임보다 어렵습니다.

셋째, 운영 비용이 숨어 있습니다. 500달러는 학습 비용입니다. 모델을 서빙할 인프라, 성능을 감시할 체계, 규칙이 바뀔 때마다 재학습할 파이프라인, 이걸 관리할 사람. 이게 다 돈입니다. 월 처리량이 적은 회사라면 API를 쓰는 게 여전히 훨씬 쌉니다.

넷째, 벤치마크 숫자는 늘 조심해서 봐야 합니다. 어떤 작업에서 이겼다는 말이 전반적으로 낫다는 뜻은 아닙니다. 오히려 그 반대에 가깝습니다. 좁은 곳에 최적화했으니 그 밖에서는 더 못합니다. 그게 설계 의도이기도 하고요.

질문이 바뀐다

그래도 이 사례를 눈여겨보는 이유는 따로 있습니다. 기업이 AI를 들일 때 던지는 첫 질문을 바꿔 놓기 때문입니다.

지금까지의 질문은 “어떤 모델을 쓸까"였습니다. 모델을 고르고, 프롬프트를 다듬고, 안 되면 더 좋은 모델로 갈아탑니다. 성능이 부족하면 돈을 더 쓰는 구조입니다.

바뀐 질문은 이렇습니다. “우리가 가진 데이터로 채점기를 만들 수 있는 작업이 무엇인가." 이 질문이 나오는 순간 사내에 쌓인 과거 처리 이력이 갑자기 자산이 됩니다. 지난 5년간 사람이 검수하고 승인하고 반려한 기록. 그동안은 아무도 안 보던 로그였는데, 강화학습 눈으로 보면 학습 신호 덩어리입니다.

이 자산은 경쟁사가 복제할 수 없습니다. 프런티어 모델 API는 누구나 같은 가격에 씁니다. 차별화가 안 됩니다. 반면 “우리 회사의 판단 기준이 녹아든 작은 모델"은 우리만 가질 수 있습니다. AI 경쟁력이 모델에서 데이터로 옮겨 앉는 겁니다.

현실적인 그림은 아마 섞어 쓰는 쪽

실무에서 답은 대개 중간에 있습니다. 전체 트래픽의 80퍼센트를 차지하는 뻔한 반복 작업은 작고 싼 전용 모델이 처리합니다. 모델이 확신을 못 하거나 처음 보는 유형이 오면 프런티어 모델로 넘깁니다. 사람은 그중에서도 애매한 것만 봅니다.

이 구조가 좋은 건 비용 때문만이 아닙니다. 프런티어 모델로 올라간 어려운 케이스와 사람의 최종 판단이 다시 학습 데이터가 됩니다. 시간이 갈수록 작은 모델이 담당하는 비율이 올라갑니다. 쓸수록 싸지는 구조입니다.

한 가지 더. 작은 모델은 사내에서 돌릴 수 있습니다. 상품 정보든 고객 데이터든 외부로 나가지 않습니다. 금융이나 의료처럼 규제가 빡빡한 곳에서는 성능보다 이게 결정적일 때가 많습니다.

마무리

500달러라는 숫자는 사실 곁가지입니다. “가장 좋은 모델이 우리 문제에 가장 적합한 모델은 아니다”. 이 말이 실제 사례로 뒷받침되기 시작했다는 게 중요합니다. 물론 앞서 적었듯 이 사례 자체는 아직 확인이 덜 됐습니다. 다른 곳에서도 같은 결과가 나오는지는 더 지켜봐야 합니다.

지금 회사에서 AI로 돌리는 업무를 한번 훑어보세요. 매일 수천 건씩 반복되고, 정답이 분명하고, 과거 처리 기록이 데이터베이스에 그대로 남아 있는 일. 그런 게 있다면 프런티어 모델에게 물어볼 게 아니라, 이미 손에 쥔 데이터로 직접 만들어 볼 수 있습니다.