26M 파라미터로 Gemini를 흉내낸다고? Needle이 던진 작은 모델의 반란

요즘 AI 업계 흐름을 보면 한쪽에선 “더 크게, 더 똑똑하게"를 외치고 있고, 다른 한쪽에선 정반대로 “더 작게, 더 빠르게"를 파고들고 있는데요. 그 사이에서 흥미로운 실험 하나가 화제입니다. 26M, 그러니까 2,600만 파라미터짜리 초소형 모델로 Gemini의 도구 호출(tool calling)을 흉내낸다는 Needle이라는 프로젝트입니다. GPT-4가 1조 파라미터급, Gemini Ultra도 수천억 단위라는 점을 생각하면 거의 장난감 크기인데요. 그런데 이 장난감이 의외로 일을 합니다.

26M이라는 숫자가 의미하는 것

먼저 감을 잡아봅시다. 26M 파라미터는 GPT-2 Small(124M)의 5분의 1 수준입니다. Llama 3의 가장 작은 버전인 1B와 비교해도 40배 가까이 작은 크기인데요. 일반적으로 이 정도 규모의 모델은 간단한 문장 분류나 감성 분석 정도가 한계라고 여겨졌습니다.

그런데 Needle이 하려는 일은 그보다 훨씬 까다롭습니다. 도구 호출이라는 건 사용자의 자연어 요청을 듣고 “아, 이건 날씨 API를 불러야겠다"라거나 “이건 계산기 함수를 써야 한다"라고 판단해서 정확한 JSON 형식으로 함수를 호출하는 작업인데요. 추론력, 구조 이해, 정확한 출력 포맷팅이 모두 필요한 일입니다.

어떻게 가능한가 — 증류와 전문화의 힘

비결은 지식 증류(distillation)입니다. Gemini 같은 거대 모델이 도구 호출을 어떻게 처리하는지 그 패턴을 학습 데이터로 만들어, 작은 학생 모델에게 “이런 입력에는 이런 출력"을 반복적으로 가르치는 방식인데요. 범용 지능을 모두 옮길 순 없어도, 특정 작업 하나에 한해서는 놀라울 만큼 따라잡을 수 있다는 게 핵심입니다.

여기에 한 가지 더, 모델이 일반 상식을 알 필요가 없다는 점도 큽니다. 도구 호출 모델에게 셰익스피어를 외우게 할 이유가 없잖아요. 파라미터의 99%를 도구 호출 패턴 자체에만 쏟아부으면 26M도 충분하다는 발상입니다.

왜 지금 이게 중요한가

작은 모델이 뜨는 데는 현실적인 이유가 있습니다. 첫째, 비용입니다. Gemini Pro API를 호출하면 토큰당 돈이 나가는데, 도구 호출처럼 빈도 높은 작업을 매번 거대 모델에 보내는 건 낭비입니다. 둘째, 레이턴시입니다. 26M 모델은 일반 CPU에서도 수십 밀리초 안에 응답합니다. 스마트폰 위에서 로컬로 돌아가는 에이전트를 만든다고 생각해 보세요. 셋째, 프라이버시입니다. 사용자 입력을 외부 API로 보내지 않고 기기 안에서 처리할 수 있죠.

LLM 생태계 재편의 신호일까

업계에서 이미 나오고 있는 그림이 있습니다. 거대한 오케스트레이터 모델 하나가 전체 흐름을 조율하고, 그 아래에 도구 호출용, 코드 생성용, 요약용 같은 작은 전문가 모델들이 붙어서 일을 분담하는 구조인데요. Apple의 온디바이스 AI 전략이나, Microsoft의 Phi 시리즈, Mistral의 작은 모델 라인업이 모두 비슷한 방향을 가리키고 있습니다.

Needle 같은 실험이 흥미로운 건, 이런 흐름의 극단적 사례를 보여주기 때문입니다. “거대 모델 없이는 안 된다"는 통념을 깨고, 특정 작업에는 1,000분의 1 크기의 모델로도 충분하다는 걸 입증하려는 시도인 거죠.

한계도 분명히 존재합니다

물론 마냥 장밋빛만은 아닙니다. 작은 모델은 학습된 도구 범위를 벗어난 요청에는 취약합니다. 새로운 함수를 추가할 때마다 재학습이 필요할 수 있고, 엣지 케이스나 모호한 자연어 표현 앞에서는 큰 모델만큼 유연하게 대응하지 못하는데요. 또한 26M이 “Gemini를 흉내낸다"는 표현이 어디까지를 의미하는지도 따져봐야 합니다. 벤치마크 일부에서 비슷한 점수를 낸다는 것과, 실제 프로덕션 환경에서 같은 신뢰도를 보장한다는 건 다른 이야기니까요.

마무리

거대 모델 한 마리가 모든 걸 처리하는 시대에서, 작고 빠른 전문가들이 분업하는 시대로. Needle 같은 프로젝트는 그 전환을 가속하는 작은 증거 하나일지 모릅니다. 여러분이 만드는 AI 제품에서 정말로 GPT-4나 Gemini가 필요한 부분은 어디까지일까요. 어쩌면 그 절반은 26M짜리 친구로도 충분할지 모릅니다.