Gemini가 쓸 AI까지 고른다면: 비용 절감과 선택권의 계산법
핵심 요약
- 자동 모델 라우팅은 요청에 따라 사용할 AI 모델을 고르는 방식입니다.
- 저렴한 모델을 배정해도 재시도와 수정이 늘면 비용 절감 폭이 줄어듭니다.
- 제공업체가 운영비를 아끼는 것과 사용자가 요금 혜택을 받는 것은 별개입니다.
- 자동 선택이 얼마나 유용한지는 작업 품질과 사용자가 선택을 바꿀 수 있는지까지 함께 따져야 합니다.
Gemini가 질문에 답할 AI 모델까지 알아서 고른다고 해 보겠습니다. 모델을 직접 고르는 수고는 줄겠지만, 비용을 얼마나 아끼고 답변의 품질을 어느 수준으로 맞출지도 시스템에 맡기게 됩니다. 그래서 자동 모델 라우팅을 살펴볼 때는 요금표와 함께 사용자 선택권도 따져봐야 합니다.
오케스트레이터는 답변 전에 일을 배분합니다
오케스트레이터는 여러 모델과 도구가 맡을 일을 조율합니다. 그중 요청을 어느 모델에 보낼지 결정하는 기능이 모델 라우팅입니다.
회사에서 일을 나누는 상황을 떠올려 보겠습니다. 정해진 양식에 내용을 옮기는 일과 복잡한 장애 원인을 찾는 일에 같은 인력을 쓸 필요는 없겠죠. AI도 요청의 성격에 맞춰 서로 다른 모델에 일을 맡기도록 설계할 수 있습니다.
예를 들어 짧은 문장의 표현을 다듬는 요청은 저렴한 모델로 보낼 수 있습니다. 여러 문서 사이의 모순을 찾아야 한다면 추론 능력을 우선해 모델을 고를 수 있습니다. 다만 비싼 모델이라고 해서 모든 작업에서 더 정확하다고 봐서는 안 됩니다.
어려운 것은 요청의 난도를 미리 판단하는 일입니다. “이 계약서를 짧게 요약해 주세요”라는 요청은 간단해 보입니다. 하지만 예외 조항 하나를 빠뜨리면 요약의 의미가 달라질 수 있습니다. 요청이 짧다고 작업까지 쉬운 것은 아닙니다.
비용 절감률은 재시도까지 세어야 합니다
가상의 숫자로 계산해 보겠습니다. 실제 서비스 요금과 무관하게, 저렴한 모델은 요청당 100원, 고성능 모델은 요청당 1,000원이 든다고 가정합니다. 요청 길이와 최종 결과의 품질도 같다고 놓겠습니다.
100건을 모두 고성능 모델로 처리하면 10만 원입니다. 이 중 80건을 저렴한 모델로 보내고 20건만 고성능 모델로 처리하면 2만 8,000원입니다. 여기까지만 계산하면 72%를 아낍니다.
그런데 저렴한 모델이 처리한 요청 중 30건을 고성능 모델로 다시 처리해야 한다고 해 보겠습니다. 3만 원이 더 들어 총비용은 5만 8,000원이 됩니다. 절감률은 42%로 내려갑니다.
이 계산에는 모델을 고르는 데 드는 비용과 사람이 결과를 검토하는 시간이 빠져 있습니다. 실제로 비용을 비교할 때는 이 부분까지 포함해야 합니다.
결국 첫 답변이 얼마인지만 볼 게 아니라 쓸 만한 결과를 얻을 때까지 든 총비용을 따져야 합니다. 답변을 저렴하게 받아도 사용자가 지시를 세 번 고쳐 써야 한다면, 아낀 비용의 일부를 사용자의 시간으로 치르는 셈입니다.
제공업체가 아낀 비용은 누구에게 돌아갈까요
자동 라우팅으로 제공업체의 운영비가 줄어도 사용자 요금이 같은 비율로 내려가지는 않습니다. 정액 구독이라면 매달 내는 요금은 그대로일 수 있습니다.
사용자가 다른 혜택을 받을 수도 있습니다. 같은 요금으로 더 많은 요청을 처리하거나, 답변을 더 빨리 받게 할 수 있습니다. 반대로 사용량과 속도가 그대로라면 비용을 아낀 이득은 주로 제공업체에 남습니다.
그래서 “비용을 줄였다”는 설명을 들으면 누구의 비용인지부터 봐야 합니다. 회사의 처리 비용이 줄었는지, 사용자가 내는 요금이 줄었는지 구분해야 합니다.
품질 역시 평균 점수 하나로 판단하기 어렵습니다. 문장을 다듬을 때는 표현이 조금 달라도 괜찮을 수 있습니다. 하지만 회계 자료에서 숫자 하나를 잘못 옮기면 이를 바로잡는 부담이 훨씬 큽니다.
제가 자동 라우팅 서비스를 평가한다면, 제 작업에서 결과를 그대로 쓸 수 있었던 비율부터 보겠습니다. 그다음 다시 요청한 횟수와 일이 끝날 때까지 걸린 시간을 비교하겠습니다. 어떤 모델을 썼는지보다 실제로 일을 마쳤는지가 더 중요하니까요.
자동 선택에는 되돌릴 권한이 필요합니다
모든 사용자가 매번 모델을 직접 고르고 싶어 하지는 않습니다. 자동 선택을 기본으로 두면 충분히 편리할 수 있습니다. 다만 사용자가 중요하게 여기는 기준에 맞춰 선택하도록 설정할 수 있어야 합니다.
사용자가 이를 조절하려면 다음과 같은 기능이 필요합니다.
- 우선순위 설정: 비용, 속도, 품질 가운데 무엇을 우선할지 정할 수 있어야 합니다.
- 선택 내역 확인: 어떤 모델이 처리했는지 확인하고, 그 모델을 고른 이유도 알 수 있어야 합니다.
- 모델 고정: 결과의 일관성이 필요한 작업에서는 같은 모델을 지정할 수 있어야 합니다.
- 재처리 선택: 결과가 부족할 때 다른 모델로 다시 요청하고, 추가 비용도 확인할 수 있어야 합니다.
모델을 고정하는 기능은 특히 반복 업무에서 쓸모가 있습니다. 같은 지시문을 써도 배정된 모델이 바뀌면 문체나 지시를 따르는 정도가 달라질 수 있기 때문입니다. 모델을 고정한다고 결과가 똑같아지는 것은 아니지만, 결과가 달라졌을 때 원인을 좁혀 볼 수는 있습니다.
Gemini에 모델 선택까지 맡긴다면, 저는 적은 비용으로 원하는 품질의 결과를 얻고 싶습니다. 어떤 모델을 골랐는지 확인하고 필요하면 바꿀 수 있어야 자동 선택의 편리함도 믿고 누릴 수 있겠습니다. 어떤 작업까지 맡기고 어디서부터 직접 고를지는 그 일을 하는 사용자가 정할 수 있으면 좋겠습니다.
댓글
댓글을 불러오는 중...