GPT-6 솔·루나가 반값이라면, 에이전트 청구서도 절반일까

핵심 요약

• API 단가가 50% 낮아져도 전체 업무 비용이 얼마나 줄어드는지는 모델 사용료가 차지하는 비중에 따라 달라집니다.
• 모델 사용료가 전체 비용의 70%라면, 사용량이 같을 때 반값 할인으로 줄어드는 총비용은 35%입니다.
• 프롬프트 캐싱의 절감 효과는 할인 대상 입력이 얼마나 반복되는지에 달려 있습니다.
• 에이전트의 경제성은 실패와 재시도까지 포함한 ‘완료한 업무당 비용’으로 따져봐야 합니다.

AI 에이전트에게 업무를 맡기기 시작하면 답변의 품질만큼 청구서도 궁금해집니다. GPT-6 솔·루나의 API 단가가 50% 내려가는 상황을 가정해 보겠습니다. 같은 일을 맡겼을 때 실제 비용도 절반으로 줄어들까요?

어떤 토큰 요금이 반값이 되는지부터 봅니다

API 비용을 계산하려면 먼저 토큰을 알아야 합니다. 토큰은 모델이 글을 읽고 생성할 때 사용하는 텍스트 조각입니다. 사용량을 계산하는 단위이기도 합니다.

비용을 따질 때는 입력 토큰, 캐시가 적용된 입력 토큰, 출력 토큰을 구분해야 합니다. 글을 읽는 비용만 낮아지는지, 답변을 만드는 비용까지 낮아지는지에 따라 할인 효과가 달라집니다.

어떤 업무를 맡기느냐도 중요합니다. 긴 문서를 읽고 짧은 분류 결과만 내는 작업은 입력 비용의 영향을 많이 받습니다. 긴 보고서를 쓰는 작업이라면 출력 비용도 살펴봐야 합니다.

에이전트는 한 번의 요청으로 모델을 여러 번 호출할 수도 있습니다. 자료를 읽거나 도구 실행 결과를 확인하는 동안 사용량이 쌓이고, 초안을 수정할 때도 추가로 쌓입니다. 청구서에 얼마가 찍힐지 예상하려면 단가와 사용량을 함께 봐야 합니다.

모델 요금이 절반이면 총비용은 얼마나 줄까요?

가상의 업무 묶음을 처리하는 데 1만 원이 든다고 해보겠습니다. 이 중 모델 사용료는 7,000원이고, 검색 도구와 실행 환경 등에 드는 나머지 비용은 3,000원입니다.

모든 모델 토큰 단가가 절반으로 내려간다고 가정하겠습니다. 토큰 사용량과 나머지 비용은 그대로 둡니다.

모델 사용료는 50% 줄었지만, 총비용은 35% 줄었습니다. 전체 비용에서 모델 사용료가 차지하는 비중이 70%이기 때문입니다.

이 조건에서는 ‘모델 비용 비중 × 단가 인하율’로 총비용 절감률을 계산할 수 있습니다. 모델 비용 비중이 20%인 업무라면 같은 반값 할인으로 줄어드는 총비용은 10%입니다.

할인율을 볼 때는 우리 업무의 비용 구성도 함께 확인해야 합니다.

프롬프트 캐싱은 반복되는 입력에서 효과가 납니다

프롬프트 캐싱은 공통된 입력 부분의 계산 결과를 재사용하는 방식입니다. 캐시 할인 단가를 적용받으면 해당 입력을 처리하는 비용을 줄일 수 있습니다.

예를 들어 고객 문의를 분류하는 에이전트를 생각해보겠습니다. 분류 규칙과 답변 지침은 그대로 두고 고객의 문의 내용만 바뀔 수 있습니다. 이때는 반복되는 규칙과 지침에 캐시를 활용할 수 있는지 살펴보면 됩니다.

비용이 얼마나 줄어드는지 계산하려면 전체 입력 중 어느 부분이 할인 대상인지 확인해야 합니다. 입력이 길어도 매번 내용이 달라지면 재사용할 부분은 적을 수 있습니다. 출력 생성 비용과 외부 도구 사용료도 따로 계산해야 합니다.

캐시로 이미 할인을 받고 있었다면 무엇을 기준으로 비교하는지도 중요합니다. 인하 전에 실제로 낸 금액과 인하 후에 낼 것으로 예상하는 금액을 비교해야 합니다. 정가를 기준으로 캐시 할인과 가격 인하 효과를 계산하면 절감액을 부풀릴 수 있습니다.

‘완료한 업무당 비용’을 따져봅니다

에이전트는 호출 단가가 저렴해도 호출만 많이 하고 업무를 끝내지 못할 수 있습니다. 반대로 검토 단계를 한 번 더 거치면서 사람이 결과를 수정하는 시간을 줄일 수도 있습니다.

저는 에이전트를 도입할지 판단할 때 완료한 업무당 비용부터 따져보겠습니다.

완료한 업무당 비용은 실패와 재시도에 쓴 돈까지 포함한 전체 운영비를 완료 기준을 통과한 업무 수로 나눈 값입니다. 사람이 결과를 고쳐야 한다면 그 시간도 비용에 넣어야 합니다.

예를 들어 문의 100건을 처리하는 데 1만 원이 들었다고 해보겠습니다. 그중 완료 기준을 통과한 건이 80건이면, 완료한 업무당 비용은 100원이 아니라 125원입니다. 실패한 20건에 쓴 비용도 포함되기 때문입니다.

가격 인하 전후를 비교할 때도 같은 업무와 완료 기준을 써야 합니다. 모델 사용료를 기록하면서 재시도 횟수와 검수 시간도 함께 남겨두면 실제로 어디서 비용이 줄었는지 알 수 있습니다.

API 가격이 내려가면 에이전트에 맡길 만한 업무도 늘어날 수 있습니다. 비용이 얼마나 줄었는지는 사용량과 완료율을 살피고 사람의 개입 시간까지 계산해야 알 수 있습니다. 맡기려는 업무에서 모델이 답을 만드는 데 드는 비용과 그 답을 쓸 수 있게 다듬는 비용을 각각 따져봐야 합니다.