앤트로픽이 직접 뜯어본 클로드의 수학 실력, 리만 제타 함수로 시험해봤더니

AI가 수학 올림피아드 금메달을 땄다는 뉴스가 나온 지 벌써 1년이 넘었습니다. 그런데 정작 수학자들은 시큰둥합니다. “문제를 푸는 것"과 “수학을 하는 것"은 전혀 다른 일이라는 거죠. 이 간극을 프론티어 랩이 직접 파고들었습니다. 앤트로픽이 자사 모델인 클로드의 수학 실력을 리만 제타 함수라는 지독하게 까다로운 영역에서 시험해봤습니다.

먼저 솔직하게 말씀드릴 게 있는데요. 이 주제는 커뮤니티에서 아직 크게 회자되지 않았습니다. 최근 30일 기준으로 레딧에서 관련 논의를 찾기 어려웠습니다. 그래서 오늘 글은 커뮤니티 여론 정리라기보다, 이 연구가 왜 중요한 질문을 건드리는지 따져보는 쪽에 가깝습니다.

왜 하필 리만 제타 함수인가

리만 제타 함수는 수학에서 가장 유명한 미해결 문제인 리만 가설의 주인공입니다. 소수(prime number)의 분포와 직결되는 함수인데요. 여기서 눈여겨볼 건 이 함수가 AI 평가용으로 거의 완벽한 시험대라는 겁니다.

이유는 이렇습니다. 우선 문제가 충분히 어렵습니다. 학부 수준 미적분으로는 접근이 안 됩니다. 복소해석학, 해석적 연속, 함수방정식 같은 개념을 실제로 이해해야 합니다. 정답도 명확합니다. 제타 함수의 특정 값이나 성질은 이미 확립되어 있어서, 모델의 답이 맞는지 틀린지 논쟁의 여지가 없습니다. 그리고 그럴듯한 헛소리를 하기 딱 좋은 영역입니다. 리만 가설 주변에는 논문과 블로그 글이 산더미처럼 쌓여 있습니다. 모델이 그 문장들을 그럴듯하게 재조합만 해도 전문가가 아니면 속을 수 있습니다.

바로 이 마지막 조건이 핵심입니다. 벤치마크 점수만으로는 “이해"와 “패턴 매칭"을 구분할 수 없거든요. 리만 제타 함수는 그 둘을 갈라내기에 좋은 칼입니다.

“수학을 한다"와 “계산을 잘한다"의 차이

수학자들이 AI를 두고 반복해서 짚는 대목이 있습니다. 지금 모델은 알려진 경로를 재현하는 데는 능하지만, 새로운 경로를 만드는 데는 약하다는 겁니다.

수학 연구는 대략 이런 단계로 굴러갑니다. 문제 정의, 반례 탐색, 보조정리 설계, 증명 구성, 검증. LLM이 특히 잘하는 건 마지막 두 단계의 형식적인 부분입니다. 이미 아는 정리를 적용하고 계산을 밀어붙이고 논증을 문장으로 정리하는 일이죠. 반면 “이 문제는 사실 다른 문제로 바꿔 보면 쉬워진다” 같은 판단은 여전히 약합니다. 문제를 재구성하는 능력 말입니다.

그래서 평가 방식도 달라져야 합니다. 정답률만 보면 안 됩니다. 모델이 왜 그 방법을 골랐는지 봐야 하고, 막혔을 때 어떻게 우회하는지, 자기가 틀렸다는 걸 알아채는지도 봐야 합니다. 리만 제타 같은 주제에서 모델을 관찰하면 이런 게 드러납니다. 정답을 맞혔는데도 논리 전개를 보면 “외운 티"가 나기도 하고, 반대로 틀렸어도 접근 자체는 수학적으로 건강한 경우가 있습니다.

틀린 증명은 티가 안 납니다

수학에서 LLM의 환각은 다른 분야보다 훨씬 고약합니다. 코드는 실행하면 터집니다. 사실관계는 검색하면 확인됩니다. 그런데 수학 증명은 겉보기에 완벽한데 중간에 한 줄이 틀린 형태로 나옵니다. 그 한 줄을 잡아내려면 이미 그 수준의 수학을 아는 사람이어야 하고요.

특히 리만 가설 근처는 지뢰밭입니다. “리만 가설을 증명했다"는 주장이 인터넷에 널려 있고, 그중 절대다수가 틀렸습니다. 학습 데이터에 이런 게 섞여 들어가면 모델은 오답을 자신 있게 말하는 법을 배웁니다.

그래서 최근 흐름은 명확합니다. 증명 검증기와 붙이는 방향이죠. Lean 같은 정리 증명 언어로 출력을 강제하면 기계가 증명이 맞는지 검사합니다. 모델이 아무리 유창하게 써도 컴파일이 안 되면 끝입니다. 자연어 증명의 약점을 피해 가는 가장 현실적인 방법입니다.

프론티어 랩이 자기 모델을 평가한다는 것

여기서 한 발 물러나 볼 지점이 있습니다. 이 연구는 앤트로픽이 앤트로픽의 모델을 평가한 겁니다.

물론 나쁘게만 볼 일은 아닙니다. 모델 내부에 접근할 수 있는 건 만든 쪽뿐입니다. 어떤 데이터로 학습했는지, 어디서 무너지는지, 실패 패턴이 뭔지는 랩 내부가 가장 잘 압니다. 앤트로픽은 해석 가능성 연구에 오래 투자해온 곳이기도 하고, 모델의 한계를 공개적으로 인정하는 논문도 꾸준히 내왔습니다.

그래도 구조적 한계는 남습니다. 평가 항목을 고르는 사람이 모델을 만든 사람과 같다는 겁니다. 어떤 문제를 시험대에 올릴지 정하는 순간 결과의 상당 부분은 이미 정해집니다. 자기 모델이 잘하는 영역을 무의식적으로 고를 수도 있고, 잘 못하는 영역은 “아직 연구 초기 단계"로 넘길 수도 있습니다. 나쁜 의도가 없어도 벌어지는 일입니다.

그래서 이런 연구는 외부 검증과 짝을 이룰 때 의미가 커집니다. 독립적인 수학자가 같은 문제를 다르게 던져보고 다른 랩의 모델도 같은 시험을 치른 다음, 결과가 재현되는지 확인하는 과정 말입니다. 랩의 자체 연구는 좋은 출발점이지 결론이 아닙니다.

그래서 AI는 수학을 하나요

지금으로선 정직한 답이 “부분적으로"입니다.

계산과 형식 조작은 이미 웬만한 대학원생 수준입니다. 알려진 정리를 적용하고 긴 논증을 실수 없이 끌고 가는 일은 잘합니다. 반면 문제를 새로 정의하고, “이건 이상한데?“라고 느끼고, 20년 걸릴 방향을 직관으로 배제하는 일은 아직입니다. 수학 연구에서 가장 값진 부분이 정확히 거기인데 말이죠.

그런데 이 구도가 오래갈 것 같지도 않습니다. 수학자들이 AI를 계산 조수나 반례 탐색기로 쓰기 시작하면 경계선은 계속 움직일 겁니다. 인간이 맡는 창의적 영역과 AI가 맡는 노동 집약적 영역 사이의 선 말입니다. 이미 몇몇 연구자는 논문 작업에 LLM을 보조로 쓰고 있고요.

마무리

리만 제타 함수는 좋은 리트머스 시험지입니다. 답이 정해져 있는데도 거기 닿는 길에서 이해와 암기가 갈리니까요. 앤트로픽이 이 영역을 들여다봤다는 것만으로도, 프론티어 랩이 벤치마크 점수 너머를 보기 시작했다고 읽을 만합니다.

다만 걸리는 게 하나 남습니다. 모델을 만든 곳이 그 모델의 능력을 평가할 때, 우리는 그 결과를 얼마나 믿어야 할까요. AI의 수학 실력을 재는 문제는 여기서 AI 평가 생태계 전체의 신뢰도 문제가 됩니다. 답을 맞히는 AI보다 그 답을 검증할 체계가 더 급한지도 모르겠습니다.