클로드가 멍청해졌을까? AI 구독에도 성능 성적표가 필요합니다

핵심 요약

• 클로드의 성능이 떨어졌는지 판단하려면 같은 조건에서 평가를 반복해야 합니다.
• 벤치마크 점수가 내려갔다고 해서 의도적으로 성능을 제한했다고 단정할 수는 없습니다.
• 매일 같은 문제를 푸는 실험에서는 평가 조건을 기록하고 반복해서 측정해야 합니다.
• AI 구독의 가치를 따질 때는 정답률과 함께 검수·재작업에 드는 시간도 봐야 합니다.

어제는 척척 처리하던 일을 오늘은 자꾸 되묻는다면, 구독료부터 떠오를 만합니다. AI에 반복 업무를 맡길수록 “클로드가 예전보다 멍청해진 것 같은데?”라는 의심을 가볍게 넘기기 어렵습니다. 업무 시간과 비용이 걸려 있기 때문입니다. 정말 성능이 떨어졌는지 보려면 기억에 남은 최고의 답변과 오늘 받은 답변만 비교해서는 안 됩니다.

‘멍청해졌다’와 ‘너프됐다’는 다른 주장입니다

게임에서 가져온 ‘너프’라는 말은 보통 성능을 의도적으로 낮췄다는 뜻으로 씁니다. AI에 이 표현을 쓰면 “답변이 나빠졌다”는 관찰에서 한발 더 나아가 “서비스 제공자가 일부러 성능을 낮췄다”는 원인까지 주장하게 됩니다.

두 주장을 뒷받침하려면 서로 다른 증거가 필요합니다. 같은 과제에서 실패를 거듭했다면 성능이 떨어졌다고 의심할 수 있습니다. 하지만 그 결과만으로 무엇이 바뀌었고, 어떤 의도가 있었는지까지 알 수는 없습니다.

무엇을 성능이라고 부를지도 먼저 정해야 합니다. 답변이 짧아진 것과 사실 오류가 늘어난 것은 다릅니다. 요청한 형식을 어기는 문제도 어려운 문제를 풀지 못하는 경우와 구분해서 봐야 합니다.

정확도, 지시 준수, 응답 시간을 따로 살피면 어떤 점이 불만인지 구체적으로 짚을 수 있습니다. “왜 이렇게 멍청해졌지?”보다 “지난주부터 표의 숫자를 옮기는 오류가 늘었나?”라고 물어야 실제 답변을 놓고 확인하기 쉽습니다.

출시일의 점수보다 매일의 기록이 필요한 이유

벤치마크는 정해진 문제로 성능을 평가하는 시험입니다. 시간 간격을 두고 이런 평가를 반복하는 방식을 종단 평가라고 합니다. 같은 대상을 계속 관찰하면서 시간에 따라 어떻게 달라지는지 살피는 방법입니다.

AI 구독자에게도 이런 기록이 필요합니다. 출시 당시 시험을 잘 봤다고 해서 다음 달 내 업무에서도 같은 결과를 내리라는 보장은 없기 때문입니다.

가령 매일 같은 문서에서 항목을 추출하고, 같은 코드의 오류를 고치게 한다고 해보겠습니다. 글을 요약하는 작업도 같은 조건으로 반복합니다. 이때 정답을 맞혔는지에 더해 어떤 조건을 빠뜨렸는지, 응답에 얼마나 걸렸는지도 기록하면 어느 작업에서 변화가 생겼는지 살펴볼 수 있습니다.

다만 매일 측정한다고 실험이 저절로 공정해지지는 않습니다. 입력 문장과 첨부 자료는 같아야 합니다. 새 대화에서 시작했는지, 이전 대화가 쌓인 상태인지도 맞춰야 합니다. 검색 같은 도구를 썼는지도 기록해야 합니다.

실험으로 무엇을 알아보려는지도 분명해야 합니다. 모델 자체의 능력을 비교할 때와 구독자가 앱에서 겪는 경험을 비교할 때는 평가할 대상이 다릅니다. 앱 사용 경험을 본다면 도구를 쓰다가 실패한 경우도 사용자가 체감하는 품질에 포함됩니다.

매일 같은 시험을 봐도 해석은 조심해야 합니다

생성형 AI는 같은 질문을 받아도 다른 답을 내놓을 수 있습니다. 하루 한 번 실패한 결과만 보고 성능이 떨어졌다고 판단하기는 어렵습니다.

예를 들어 업무 과제 10개를 각각 3회씩 실행하도록 평가를 설계할 수 있습니다. 실제로 측정해서 얻은 결과가 아니라 실험 방법을 설명하기 위한 예시입니다. 같은 과제를 반복했을 때 결과가 얼마나 흔들리는지 알아야 날짜에 따른 차이도 해석할 수 있습니다.

전체 평균만으로는 드러나지 않는 변화도 있습니다. 요약은 나아졌지만 숫자 추출은 나빠졌다면, 두 작업을 합친 점수는 비슷하게 나올 수 있습니다. 그래도 숫자 추출을 주로 맡기는 사용자에게는 품질이 분명히 떨어진 셈입니다.

정해진 시험 하나로 모든 능력을 평가할 수도 없습니다. 문서 정리 문제에서 나온 결과를 코딩이나 장문 분석 능력에까지 그대로 적용해서는 안 됩니다. 업무별 결과를 나누어 보고 실제로 어떤 실패가 있었는지도 함께 살펴야 합니다.

점수가 내려갔다는 사실과 내려간 이유는 별개입니다. 여러 날에 걸쳐 반복해서 측정하면 성능이 달라졌는지 판단할 증거가 쌓입니다. 그 원인까지 좁히려면 평가 조건과 서비스 변경 이력을 함께 살펴봐야 합니다.

AI 구독자가 ‘접속 권한’을 사는 이유

구독자는 매달 비슷한 업무를 비슷한 수고로 끝낼 수 있기를 기대합니다. 이용 한도나 모델 이름도 살펴야 하지만, 그 정보만으로 이런 기대를 충족할지 판단하기는 어렵습니다.

가령 초안을 받는 데 걸리는 시간은 같은데, 사실을 확인하고 문장을 고치는 데 드는 시간이 두 배가 됐다고 해보겠습니다. 사용자에게는 업무 비용이 오른 셈입니다. 벤치마크 정답률이 그대로여도 구독료를 내고 얻는 가치는 달라질 수 있습니다.

그래서 품질을 설명할 때는 작업별 성공률과 반복 측정에서 결과가 얼마나 달라졌는지를 알려줘야 합니다. 언제 무엇이 바뀌었고 어떤 기능이 영향을 받는지도 확인할 수 있어야 합니다. 그래야 사용자가 자기 업무에 어떤 영향이 있을지 판단할 수 있습니다.

품질을 보증한다고 해서 모든 질문에 정답을 약속해야 하는 것은 아닙니다. 어떤 조건에서 어느 정도의 품질을 기대할 수 있는지 설명하고, 의미 있는 변화가 생기면 알리는 일부터 시작할 수 있습니다.

클로드가 정말 멍청해졌는지 판단하려면 서로 비교할 수 있는 기록이 필요합니다. 매일 성능을 측정하면 구독자가 어느 정도의 품질을 기대할 수 있는지 구체적으로 따져볼 수 있습니다. 매달 내는 구독료를 평가할 때도 모델 이름만으로는 부족합니다. 그 모델을 쓰면서 실제로 일이 얼마나 줄었는지까지 봐야 합니다.