아마추어가 ChatGPT로 60년 묵은 에르되시 난제를 풀었다 — AI는 수학의 판을 바꿀까

수학계에서 흥미로운 사건이 하나 터졌습니다. 정식 수학 박사 학위가 없는 한 아마추어가 ChatGPT를 옆에 끼고 60년 가까이 묵은 에르되시(Erdős) 미해결 문제 중 하나를 풀어낸 겁니다. 학계는 술렁였고, “이게 진짜 가능한 일이냐"는 반응이 쏟아졌는데요. 오늘은 이 사건이 왜 중요한지, 그리고 AI가 정말로 수학 연구의 판을 바꿀 수 있을지 함께 들여다보겠습니다.

에르되시 문제가 뭐길래

먼저 배경부터 짚고 넘어가겠습니다. 폴 에르되시(Paul Erdős)는 20세기 가장 다작한 수학자 중 한 명입니다. 평생 1,500편이 넘는 논문을 쓰고 수많은 미해결 문제를 남겼는데요. 이 문제들은 짧고 단순해 보이지만 풀이가 극도로 까다로워서, 수십 년 동안 세계 최고 수학자들의 머리를 싸매게 만들어온 일종의 고전 난제 모음집입니다.

이번에 풀린 문제도 그중 하나입니다. 명제 자체는 한두 줄로 적을 수 있을 만큼 간결한데, 1960년대에 제기된 이후 누구도 명확한 답을 내놓지 못한 상태였습니다. 그런데 그 답을 정통 학계 바깥의 누군가가, 그것도 챗봇과의 대화로 끌어냈다는 겁니다.

“바이브 매스(vibe math)“라는 새로운 풀이 방식

이번 사건을 설명하면서 등장한 단어가 “vibe math”입니다. 코딩 쪽에서 유행하던 “vibe coding"의 수학 버전이라고 보면 됩니다. 엄밀한 증명을 한 줄 한 줄 직접 쓰는 게 아니라, AI에게 아이디어를 던지고 반응을 받고 다시 다듬는 과정을 반복하는 방식이죠.

당사자가 말한 작업 흐름은 대략 이랬다고 합니다.

• 문제의 구조에 대해 ChatGPT와 자연어로 대화하며 가설을 세움
• 모델이 제안한 접근법을 받아 직접 검증하고, 막히는 부분을 다시 묻는 식의 핑퐁
• 결정적 아이디어가 나오면 그것을 정식 수학 언어로 옮겨 적고, 마지막엔 인간 수학자들에게 검토받음

핵심은 AI가 증명을 완성한 게 아니라는 점입니다. 최종적인 논리적 엄밀성은 사람이 잡았습니다. 다만 “어디를 파야 답이 나올지"에 대한 직관을 빠르게 길어 올리는 데에 AI가 결정적인 역할을 했다는 거죠.

학계의 반응 — 환호와 경계

수학자 커뮤니티의 반응은 두 갈래로 갈렸습니다.

한쪽은 환영하는 분위기입니다. “수학 연구의 진입 장벽이 낮아진다”, “정식 트레이닝 없이도 좋은 아이디어만 있으면 기여할 수 있는 시대가 왔다"는 평가인데요. 특히 에르되시 본인이 생전에 다른 수학자들과 끊임없이 협업하며 문제를 풀었던 스타일이라, “AI와의 협업도 그 연장선"이라는 해석도 나왔습니다.

반대쪽은 조심스럽습니다. AI가 그럴듯하게 보이지만 사실은 틀린 증명을 만들어내는 사례가 많기 때문입니다. 환각(hallucination)이 수학에서는 단순한 오타가 아니라 논리 전체를 무너뜨리는 치명상이 됩니다. 그래서 “이번엔 운이 좋았던 케이스"라며, 동료 검토 절차 없이 ‘AI가 풀었다’ 식의 헤드라인이 남발되는 걸 경계하는 목소리도 큽니다.

AI는 수학자를 대체할까, 아니면 도구가 될까

이 질문이 결국 핵심입니다. 지금까지 흐름을 보면, AI는 수학자를 대체하는 쪽보다는 수학자의 사고를 확장하는 쪽으로 가고 있습니다.

이번 사례가 보여준 건 두 가지입니다. 첫째, AI는 광활한 수학 문헌을 빠르게 훑고 관련 아이디어를 연결하는 일을 사람보다 훨씬 빨리 합니다. 둘째, 그렇게 길어 올린 단서를 엄밀한 증명으로 다듬는 일은 여전히 인간의 몫이라는 겁니다. 즉 “AI가 풀었다"가 아니라 “AI 덕분에 사람이 풀 수 있었다"가 정확한 표현이죠.

또 하나 주목할 만한 변화는 아웃사이더의 부상입니다. 과거에는 박사 과정과 포스닥, 동료 네트워크를 거쳐야 진지한 수학 연구에 접근할 수 있었는데요. 이제는 호기심 많은 아마추어가 AI를 레버리지 삼아 학계 변두리에서 의미 있는 결과를 내놓을 가능성이 열리고 있습니다. 이건 수학뿐 아니라 물리, 생물, 경제 등 이론 분과 전반에 영향을 줄 수 있는 흐름입니다.

그래서, 다음에 올 것은

결론부터 말하면, 이번 사건은 “AI가 수학을 정복했다"는 신호라기보다 “수학 연구의 협업 방식이 바뀌고 있다”는 신호에 가깝습니다. 검증과 엄밀성은 여전히 사람의 영역이고, 환각이라는 큰 함정도 여전히 도사리고 있습니다. 다만 한 가지는 분명해졌습니다. 좋은 질문을 던질 줄 아는 사람이라면, 이제 학위가 없어도 60년 된 난제 앞에 앉을 자격이 생겼다는 것 말이죠.

여러분이라면 어떤 분야의 어떤 오래된 문제를 AI와 함께 다시 들여다보고 싶으신가요? 답이 나올 자리는 의외로 가까이 있을지도 모릅니다.