일상 업무에도 가장 비싼 AI가 필요할까? 모델 선택의 네 가지 기준

핵심 요약

• 벤치마크를 비교할 때는 평가 과제가 실제 업무와 얼마나 비슷한지 살펴야 합니다.
• 업무 처리 비용에는 모델 사용료뿐 아니라 재시도 비용과 사람이 검토하는 시간도 포함해야 합니다.
• 응답 속도는 첫 글자가 나올 때까지 걸리는 시간과 작업이 끝날 때까지 걸리는 시간을 나눠 봐야 합니다.
• AI 에이전트는 각 단계가 얼마나 어렵고 오류의 영향이 얼마나 큰지에 따라 모델을 나눠 쓸 수 있습니다.

AI로 이메일 한 통을 요약할 때와 매일 1,000건을 처리하도록 설계할 때는 계산이 달라집니다. 답변 하나의 품질에 더해, 작업을 반복할 때 드는 비용과 기다리는 시간까지 따져야 합니다. “Claude Haiku 5.5로도 충분할까?”라는 질문에 답하려면 먼저 맡길 업무의 성공 기준을 정해야 합니다.

1. 벤치마크를 보기 전에 업무의 합격선을 정하세요

벤치마크는 정해진 문제와 조건으로 모델을 평가한 결과입니다. 모델이 얼마나 잘하는지 가늠하는 데 도움이 되지만, 그 시험 문제가 내 업무와 얼마나 비슷한지도 살펴야 합니다.

예를 들어 고객 이메일을 분류하는 일과 계약서의 모호한 조항을 해석하는 일에는 서로 다른 능력이 필요합니다. 이메일 분류에서는 정해진 항목을 일관되게 고르는지가 중요합니다. 계약서를 검토할 때는 문맥이나 예외를 놓치면 어떤 문제가 생길지도 따져야 합니다.

업무용 모델을 비교할 때는 작은 시험 세트를 먼저 만들어보면 좋습니다. 가령 이메일 분류 10건, 문서 요약 10건, 답변 초안 10건을 준비하는 식입니다. 각 작업에서 어떤 결과를 합격으로 볼지도 미리 정합니다.

• 이메일 분류: 지정된 분류 항목을 정확히 골랐는가.
• 문서 요약: 날짜와 금액을 보존하고, 원문에 없는 내용을 넣지 않았는가.
• 답변 초안: 필요한 안내를 빠뜨리지 않고, 확인되지 않은 약속을 하지 않았는가.

30건은 처음 비교할 때 쓸 수 있는 예시입니다. 이 정도 시험으로 드문 오류까지 확인했다고 보기는 어렵습니다. 다만 어떤 유형의 작업에서 사람이 자주 고쳐야 하는지 알아보는 데는 출발점이 될 수 있습니다.

2. 가격표보다 ‘쓸 수 있는 결과 한 건’의 비용을 보세요

모델의 토큰 단가는 기본적으로 비교해야 할 항목입니다. 토큰은 모델이 글을 처리하는 단위입니다. 실제 비용을 계산하려면 입력과 출력에 토큰을 각각 얼마나 쓰는지도 알아야 합니다.

업무에 쓸 때는 여기서 더 따져봐야 합니다. 답변이 기준에 못 미쳐 다시 요청하면 사용료가 추가로 듭니다. 사람이 내용을 고쳐야 한다면 검토하는 시간도 비용에 넣어야 합니다.

저는 사용 가능한 결과 한 건당 비용을 기준으로 삼는 편이 낫다고 봅니다. 모델 사용료에 재시도 비용과 검토에 드는 노동비용을 더하고, 이 금액을 실제로 활용한 결과 수로 나누면 됩니다.

가상의 업무 테스트를 예로 들어보겠습니다. 모델 A는 1,000건 처리에 1만 원이 들고, 사람이 고치는 데 2시간이 걸립니다. 모델 B는 같은 작업에 3만 원이 들고, 고치는 데는 20분이 걸립니다.

이 조건에서는 B에 2만 원을 더 쓰면 검토 시간을 100분 줄일 수 있습니다. 그만큼 시간을 아끼는 것이 추가 비용을 들일 만한 일인지 판단하면 됩니다. 반대로 검토 시간과 결과 품질이 비슷하다면 저렴한 모델을 고를 이유가 생깁니다.

3. 첫 답변이 빠른 것과 일이 빨리 끝나는 것은 다릅니다

응답 지연시간, 즉 레이턴시를 비교할 때는 어디서부터 어디까지 잴지부터 맞춰야 합니다. 첫 글자가 화면에 나타날 때까지 걸리는 시간과 답변 전체가 완성될 때까지 걸리는 시간은 서로 다른 지표입니다.

대화형 서비스에서는 첫 반응이 얼마나 빨리 보이는지가 중요할 수 있습니다. 문서 100개를 한꺼번에 요약하는 작업이라면 전체 처리가 언제 끝나는지가 더 직접적인 기준이 됩니다.

에이전트를 쓴다면 시간을 재야 할 범위도 넓어집니다. 여기서 에이전트는 답변을 만드는 것에 더해 검색이나 업무 도구를 실행하는 AI를 말합니다. 자료를 찾아 내용을 읽은 뒤 결과를 저장하는 작업이라면, 각 단계에서 기다리는 시간이 쌓입니다.

가령 한 모델이 답변을 2초 만에 내놓지만 세 번 수정 요청을 해야 한다고 가정해보겠습니다. 다른 모델이 5초 만에 바로 쓸 수 있는 답변을 준다면, 일이 끝나는 시점은 두 번째 모델이 더 빠를 수 있습니다.

속도를 비교할 때는 이처럼 업무 완료 시간까지 재보는 것이 좋습니다. 답변마다 걸리는 시간이 크게 다르다면 평균뿐 아니라 유난히 느렸던 사례도 살펴야 합니다. 사용자가 어느 구간에서 기다리다 작업을 포기하는지 확인할 수 있기 때문입니다.

4. 에이전트 전체에 같은 모델을 쓸 필요가 있는지 따져보세요

작업을 단계별로 나눠보면 모든 단계에 가장 비싼 모델이 필요한지 판단하기가 쉬워집니다.

예를 들어 고객 문의를 처리할 때는 문의를 분류하고, 관련 자료를 검색하고, 답변을 작성하는 과정이 있을 수 있습니다. 환불 가능 여부를 판단해야 할 때도 있습니다. 단계마다 어려운 정도가 다르고, 실수했을 때 생기는 영향도 다릅니다.

분류와 정보 추출부터 비용이 낮은 모델로 시험해볼 수 있습니다. 복잡한 예외를 판단해야 하는 단계에는 해당 업무 평가에서 더 좋은 결과를 낸 모델을 맡기는 방법도 있습니다.

다만 모델을 나눠 쓰면 작업을 전달하는 과정이 추가됩니다. 앞 단계에서 핵심 정보를 빠뜨리면 다음 단계의 모델은 잘못된 입력을 바탕으로 판단할 수도 있습니다. 각 단계의 점수와 함께 전체 작업 완수율을 확인해야 하는 이유입니다.

에이전트 테스트에서는 문장이 그럴듯한지만 봐서는 안 됩니다. 올바른 도구를 골라 필요한 정보를 정확히 전달했는지도 확인해야 합니다. 요청한 결과가 실제로 만들어졌는지까지 합격 조건에 넣어야 합니다.

일상 업무에 가장 비싼 AI가 필요한지는 가격표만 보고 결정하기 어렵습니다. 저는 맡긴 일을 합격선 안에서 끝내는 데 드는 총비용을 기준으로 봅니다. 모델 사용료와 AI가 만든 결과를 다시 고치는 시간 중 어느 쪽이 내 업무에서 더 부담스러운지 따져보면 선택하기가 한결 수월해집니다.