답을 고르기만 하는 AI, 매번 Sonnet이 필요할까요?
핵심 요약
- 정해진 선택지에서 하나를 고르는 일은 규칙이나 작은 분류 모델로 처리할 수 있는 경우가 있습니다.
- 답이 짧아도 판단에 복잡한 추론이 필요하다면 모델을 바꾸기 어렵습니다.
- 비용을 얼마나 줄일 수 있는지는 호출 요금에 재시도와 잘못된 판단을 수습하는 비용까지 더해 따져봐야 합니다.
- 쉬운 선택은 따로 처리하고 어려운 사례는 범용 모델에 넘기는 방식도 검토할 수 있습니다.
AI가 고객에게 보낼 답장을 쓴다면 언어를 다루는 능력이 중요합니다. 그런데 답장을 쓰기 전에 ‘배송 문의인가, 환불 문의인가’만 고르는 단계에도 매번 같은 모델이 필요할까요? Amazon Strands Decider로 Claude Sonnet 4.6의 선택 업무를 대체한다고 가정해보겠습니다. 이때는 모델을 바꾸는 것에 앞서 어떤 일을 나눠 맡길 수 있는지 살펴봐야 합니다.
모델을 바꾸기 전에 맡기던 일부터 봐야 합니다
‘Sonnet을 대체한다’는 말은 어디까지 바꾸느냐에 따라 의미가 크게 달라집니다. 고객의 사정을 이해하고 답변을 쓰는 기능을 바꾸는 일과, 다음에 호출할 도구 하나를 고르는 기능을 바꾸는 일은 다릅니다.
고객 상담 시스템을 예로 들어보겠습니다. 사용자가 “주문한 물건이 아직 안 왔어요”라고 입력하면 시스템은 먼저 배송 조회가 필요하다고 판단합니다. 그런 다음 주문 정보를 가져와 조회 결과를 바탕으로 안내문을 씁니다.
이 과정에는 적어도 두 종류의 일이 있습니다. 무엇을 실행할지 고르는 일과 어떻게 설명할지 쓰는 일입니다. 두 단계에 같은 모델을 쓰면 구현하기는 편할 수 있습니다. 그렇다고 각 단계에 필요한 능력까지 같은 것은 아닙니다.
특정 모델을 다른 것으로 바꿀 수 있는지 판단하려면 먼저 맡겨둔 업무를 나눠봐야 합니다. 선택 단계에서 비용을 줄였다고 해서 답변 작성 단계에서도 같은 효과를 얻으리라고 볼 수는 없습니다.
선택지가 정해져 있다면 문제를 좁힐 수 있습니다
상담 시스템의 선택지가 ‘배송 조회’, ‘환불 접수’, ‘계정 지원’, ‘상담원 연결’ 네 가지라고 해보겠습니다. 이 단계에서는 긴 설명문을 쓸 필요 없이 적절한 항목 하나를 고르면 됩니다.
입력 조건이 명확하다면 규칙으로 처리할 수도 있습니다. 같은 뜻을 여러 표현으로 입력한다면 문장을 정해진 범주로 나누는 분류 모델을 검토할 수 있습니다. 범용 언어 모델을 계속 쓰더라도 더 작은 모델로 이 업무를 충분히 처리할 수 있는지 확인해볼 만합니다.
다만 선택과 생성을 구분한다고 비용 차이가 보장되지는 않습니다. 범용 모델에 선택지 하나만 출력하도록 해도 입력을 읽고 판단하는 계산은 필요합니다. 별도 모델을 도입하면 학습 데이터를 관리하고 운영 체계를 유지하는 데 비용이 들 수 있습니다.
출력 형식을 짧게 만드는 것만으로는 충분하지 않습니다. 업무를 충분히 잘 처리하는 방법들을 놓고, 전체 비용이 어느 쪽에서 더 적게 드는지 비교해야 합니다.
호출 요금이 내려가도 전체 비용은 오를 수 있습니다
단순한 가정을 해보겠습니다. 월 100만 건의 요청마다 범용 모델을 세 번 호출하는 서비스라면 총호출 수는 300만 번입니다. 이 가운데 두 번이 선택 업무이고 이를 다른 방식으로 처리할 수 있다면, 범용 모델 호출은 100만 번으로 줄어듭니다.
그렇다고 전체 비용이 곧바로 3분의 1이 되지는 않습니다. 빠진 두 단계도 다른 방식으로 처리하는 데 비용이 듭니다. 각 호출의 입력 길이와 출력 길이도 다를 수 있습니다.
더 중요하게 봐야 할 것은 선택이 틀렸을 때 드는 비용입니다. 배송 조회로 끝날 문의를 환불 절차로 잘못 보내면 추가로 확인하고 다시 처리해야 합니다. 상담원에게 연결된다면 사람이 그 문의를 처리하는 시간도 들어갑니다.
비교할 기준은 정상적으로 해결한 요청 한 건당 비용입니다. 모델 이용료가 낮아졌어도 오류와 재시도가 늘었다면 잘 바꿨다고 보기 어렵습니다. 처리 속도를 따질 때도 첫 응답이 얼마나 빨리 나왔는지와 함께 최종 해결까지 걸린 시간을 봐야 합니다.
답이 한 단어여도 판단은 어려울 수 있습니다
“배송이 늦었는데, 내일까지 안 오면 취소하고 싶어요.”
이 문장에는 배송 조회와 취소 요청이 함께 들어 있습니다. 다만 취소에는 조건이 붙어 있어 어느 쪽으로 보낼지 바로 고르기 어렵습니다. 선택지가 몇 개 없다는 이유로 단순한 분류 문제로 다루면 사용자의 의도를 놓칠 수 있습니다.
권한 확인이나 결제 승인처럼 잘못 선택했을 때 영향이 큰 업무도 있습니다. 결과가 ‘허용’ 또는 ‘거절’ 두 가지뿐이어도 판단하려면 복잡한 맥락을 살펴야 할 수 있습니다. 출력의 길이와 판단의 난도는 별개입니다.
이런 경우에는 쉬운 사례부터 따로 처리하는 방식을 검토할 수 있습니다. 명확한 요청은 규칙이나 작은 모델에 맡기고, 여러 의도가 섞였거나 필요한 정보가 빠진 요청은 범용 모델 또는 사람에게 넘기는 식입니다.
이때 어려운 사례를 제대로 골라내는지도 평가해야 합니다. 선택기가 자신 있게 틀리는 경우를 놓치면 뒤에 더 좋은 모델을 두어도 그 모델까지 요청이 넘어가지 않습니다. 실제 문의로 확인하면서 어떤 오류가 생기는지, 추가 처리가 필요한 비율은 얼마인지 함께 살펴야 합니다.
범용 언어 모델의 비용을 줄이려면 각 호출이 무슨 일을 맡고 있는지부터 살펴봐야 합니다. 답변 작성과 단순한 경로 선택을 나눠보면 모델을 바꿔볼 만한 곳과 신중해야 할 곳이 드러납니다. 서비스에서 가장 비싼 모델이 맡은 판단이 무엇이냐에 따라 바꿀 수 있는 범위도 달라집니다.
댓글
댓글을 불러오는 중...