펠리컨이 자전거를 못 타면 그 모델은 탈락입니다

새 모델이 나오면 벤치마크 표부터 뜹니다. 그런데 그 표를 요즘 누가 진지하게 들여다보나요. 정작 개발자가 먼저 하는 건 채팅창 열고 “펠리컨이 자전거 타는 그림을 SVG로 그려줘"라고 치는 일입니다. 농담 같지만 지금 AI 업계에서 제일 널리 쓰이는 비공식 평가 방식이 이겁니다.

왜 하필 펠리컨이고, 왜 하필 자전거인가

이 테스트가 유명해진 건 사이먼 윌리슨이 새 모델이 나올 때마다 같은 프롬프트를 던지고 결과를 블로그에 올리면서부터입니다. 안드레이 카파시가 언급하면서 더 퍼졌고요. 지금은 모델 출시일마다 SNS 타임라인이 펠리컨 그림으로 뒤덮입니다.

조합이 짓궂습니다. 펠리컨은 몸통 비율이 괴상합니다. 부리가 몸의 절반이고 목이 짧고 다리는 뒤에 붙어 있습니다. 자전거는 반대로 구조가 엄격합니다. 바퀴 두 개, 삼각 프레임, 페달, 핸들. 하나라도 위치가 틀리면 자전거로 안 보입니다. 기괴한 생물을 엄격한 기계 위에 올려놓으라는 주문인 셈이죠.

게다가 SVG는 이미지 생성이 아닙니다. 모델은 그림을 그리는 게 아니라 좌표와 곡선 명령어를 텍스트로 뱉습니다. 눈으로 확인하면서 고칠 수가 없습니다. 머릿속으로만 도형을 배치해서 코드로 적어내야 합니다. 사람으로 치면 눈 감고 도면 그리기입니다.

그래서 결과물이 재밌게 망가집니다. 바퀴가 세 개인 자전거, 프레임 밖에 둥둥 떠 있는 펠리컨, 부리가 앞바퀴를 관통하는 그림. 커뮤니티에서는 특히 턱이 앞으로 심하게 튀어나온 실패작에 합스부르크 턱이라는 별명을 붙였습니다. 근친혼으로 유명했던 왕가의 주걱턱에서 따온 말인데, 모델이 부리 길이를 조절 못 해서 생기는 꼴을 절묘하게 짚었습니다.

공식 벤치마크가 못 보는 것

솔직히 공식 지표는 알려주는 게 많이 줄었습니다. 상위권 모델이 죄다 몰려 있어서 1~2점 차이로는 뭐가 나은지 판단이 안 됩니다. 게다가 벤치마크 문제가 학습 데이터에 섞여 들어갔을 가능성, 이른바 오염 이야기도 계속 나옵니다. 시험 문제를 미리 본 학생의 점수를 어떻게 믿느냐는 겁니다.

펠리컨 테스트는 이 문제를 우회합니다. 정답이 없으니까요. 채점 기준도 없고 리더보드도 없습니다. 그냥 보면 압니다. 자전거처럼 생겼는지, 펠리컨처럼 생겼는지, 펠리컨이 자전거를 타고 있는지. 사람은 이걸 0.5초 만에 판정합니다.

이 테스트는 능력 여러 개를 한꺼번에 봅니다. 공간 추론, 구조 이해, 코드 생성, 지시 사항 준수. 어느 하나만 잘해서는 통과가 안 됩니다. 항목별로 쪼개 점수를 매기는 벤치마크가 놓치는 게 여깁니다. 실제로 들어오는 일감은 능력별로 곱게 쪼개져 있지 않으니까요.

다들 자기만의 시험 문제가 있습니다

펠리컨은 유명해졌을 뿐, 유일한 게 아닙니다. 개발자마다 손에 익은 테스트가 하나씩 있습니다.

누구는 개구리를 시킵니다. 팔다리 위치가 애매하고 앉은 자세가 특이해서 SVG로 그리기 까다롭거든요. 누구는 자기가 지난주에 삽질했던 실제 버그를 던져봅니다. 누구는 아무도 안 쓰는 옛날 라이브러리 문서를 물어봐서 모른다고 인정하는지 확인합니다. 누구는 애매한 요구사항을 주고 되묻는지 아니면 그냥 지어내는지를 봅니다.

공통점이 있습니다. 공개된 적이 없는 문제라는 것. 내 노트북에만 있고 내 머릿속에만 있습니다. 학습 데이터에 들어갔을 리가 없습니다. 벤치마크 오염을 막는 제일 확실한 방법은 결국 나만 아는 문제를 내는 거였습니다.

그래서 이게 진짜 평가인가

한계는 분명합니다. 표본이 하나입니다. 같은 프롬프트를 다섯 번 돌리면 다섯 번 다 다른 그림이 나옵니다. 그중 제일 잘 나온 걸 골라 올리는 사람이 대부분이고요. 펠리컨 테스트가 유명해진 순간부터 랩들이 이걸 신경 쓰기 시작했을 수도 있고요. 유명해진 벤치마크는 곧 목표가 됩니다. 목표가 된 지표는 지표 노릇을 못 하고요.

무엇보다 SVG로 새를 잘 그린다고 코드 리뷰를 잘하는 건 아닙니다. 상관관계가 있다는 근거는 없습니다.

그런데도 이 방식이 안 죽는 건 공식 점수가 답해주지 않는 질문에 답하기 때문입니다. 개발자가 진짜 알고 싶은 건 “이 모델이 GPQA에서 몇 점인가"가 아닙니다. “이걸 내 일에 써도 되나"입니다. 그 답은 직접 몇 번 시켜보는 것 말고는 알 방법이 없습니다. 펠리컨은 그 감을 잡는 제일 빠르고 값싼 도구일 뿐이고요.

이건 벤치마크가 아니라 감별법입니다

펠리컨 테스트는 모델의 실력을 재지 않습니다. 대신 결정적으로 못하는 지점을 드러냅니다. 잘 그린 그림은 별 정보가 없지만 처참하게 망한 그림은 확실한 정보입니다. 이 모델은 머릿속에서 도형을 배치하지 못한다는 것.

재는 게 아니라 거르는 겁니다. 합격선을 매기는 용도가 아니라 탈락자를 걸러내는 용도죠. 걸러내는 도구는 원래 짧고 싸고 재밌어야 오래 씁니다. 펠리컨이 딱 그렇습니다.

점수가 다 비슷해진 판에서 사적인 테스트가 뜬 것도 그래서입니다. 다들 고만고만해 보이면 결국 각자 자기 눈으로 확인하는 수밖에 없습니다. 새 모델이 나오면 제일 먼저 뭘 시켜보시나요. 답이 바로 나온다면 이미 자기 벤치마크가 있는 겁니다.