AI가 30년 묵은 수학 난제를 풀었다? GPT-5.6가 던진 '수학하는 AI'의 진짜 실력

“AI가 30년 묵은 수학 난제를 풀었다.” 이 문장만 보면 심장이 두근거리는데요. 최근 GPT-5.6가 볼록최적화(convex optimization) 분야에서 오랫동안 열려 있던 문제의 증명을 완성했다는 이야기가 테크 커뮤니티를 돌고 있습니다. 그런데 이런 뉴스일수록 한 걸음 물러서서 봐야 합니다. “풀었다"는 말이 정확히 무슨 뜻인지, 어디까지가 사실이고 어디부터가 마케팅인지 냉정하게 따져볼 필요가 있는데요.

먼저 솔직하게 말씀드리겠습니다. 이번 주제는 지난 30일간 커뮤니티에서 확인된 심도 있는 토론 데이터가 거의 없었습니다. 그래서 오늘 글은 특정 커뮤니티의 추천수나 댓글을 인용하기보다, 이런 종류의 주장을 어떻게 읽어야 하는지에 무게를 두겠습니다.

볼록최적화가 뭐길래 이렇게 시끄러운가

먼저 무대를 깔아보겠습니다. 볼록최적화는 이름은 어렵지만 개념은 직관적입니다. 그릇 모양처럼 아래로 볼록한 함수가 있으면, 바닥의 가장 낮은 지점을 찾는 문제인데요. 이 바닥이 유일하다는 점이 핵심입니다. 울퉁불퉁한 지형이라면 골짜기가 여러 개라 어디가 진짜 최저점인지 헷갈리지만, 볼록한 지형은 국소 최저점이 곧 전역 최저점입니다.

이게 왜 중요할까요. 머신러닝 모델 학습, 금융 포트폴리오 설계, 물류 경로 최적화, 통신 신호 처리까지, 세상의 수많은 문제가 결국 “가장 좋은 값을 찾아라"로 귀결됩니다. 볼록최적화는 그 문제를 확실하게 풀 수 있다는 보장을 주는 수학적 토대입니다. 그래서 이 분야의 오래된 열린 문제 하나가 닫혔다면, 이론적으로는 의미가 작지 않습니다.

‘30년 묵은 난제’라는 표현의 함정

여기서 첫 번째 회의론을 꺼내야 합니다. “30년 묵은 난제"라는 표현은 대단히 매력적이지만, 동시에 대단히 미끄럽습니다.

수학에는 난이도의 스펙트럼이 넓습니다. 리만 가설처럼 수백 명의 수학자가 도전하고도 못 푼 초거대 난제가 있는가 하면, 어떤 특정 부등식의 최적 상수를 아무도 굳이 계산하지 않아서 30년간 ‘열려 있던’ 문제도 있습니다. 후자는 어렵다기보다 아무도 손대지 않은 쪽에 가깝습니다.

AI가 풀었다는 뉴스가 나올 때 우리가 확인해야 할 질문은 이겁니다. 그 문제는 정말 수많은 전문가가 도전해 실패한 문제였나요, 아니면 관심 밖에 있던 문제였나요. 이 구분을 흐리는 순간, 평범한 성과도 세기의 돌파구처럼 보이게 됩니다.

AI가 증명을 ‘했다’는 건 정확히 무슨 뜻일까

두 번째로 짚을 지점은 ‘증명을 했다’의 의미입니다. 여기에는 최소 세 가지 다른 시나리오가 있는데요.

첫째, AI가 완전히 새로운 증명 전략을 스스로 발상하고 끝까지 써냈다. 이건 진짜 대사건입니다. 둘째, AI가 기존에 알려진 기법들을 영리하게 조합해 빈칸을 메웠다. 인상적이지만 창의성의 성격은 다릅니다. 셋째, 인간 연구자가 방향을 잡고 AI는 계산과 사례 탐색을 도왔다. 유용한 도구지만 ‘풀었다’의 주어는 사람입니다.

대부분의 헤드라인은 이 셋을 구분하지 않습니다. 그냥 “AI가 풀었다"로 뭉뜽그리죠. 그리고 중요한 검증 포인트가 하나 더 있는데요. 그 증명이 Lean이나 Coq 같은 형식 증명 검증기로 기계 검증됐는지 여부입니다. 사람 눈으로만 읽은 증명은 미묘한 오류가 숨을 수 있지만, 형식 검증을 통과했다면 논리적 정합성은 수학적으로 담보됩니다. 이 검증 여부가 언급되지 않은 ‘증명’은 일단 물음표를 달고 보는 게 안전합니다.

그럼에도 흐름 자체는 진짜입니다

여기까지 읽으면 제가 이 뉴스를 완전히 깎아내리는 것처럼 들릴 텐데, 그건 아닙니다. 개별 주장은 검증이 필요하지만, 큰 흐름은 분명히 실재합니다.

지난 몇 년간 AI가 수학에 기여한 진짜 사례들이 쌓여왔습니다. 국제수학올림피아드 수준 문제 풀이, 조합론에서의 새로운 하한값 발견, 형식 증명 자동화의 급속한 발전이 대표적인데요. 수학자들이 AI를 ‘증명 보조 도구’로 실제 연구에 끌어들이기 시작한 것도 사실입니다. 그러니 GPT-5.6가 최적화 분야 문제 하나에서 의미 있는 기여를 했다는 것 자체는 충분히 있을 법한 이야기입니다.

핵심은 균형입니다. “AI가 인간 수학자를 대체했다"는 과장도, “다 마케팅일 뿐"이라는 냉소도 둘 다 틀렸습니다. 진실은 그 사이 어딘가, “특정 유형의 문제에서 AI가 점점 쓸모 있는 협업자가 되고 있다"에 있습니다.

우리가 정말 주목해야 할 신호

한 문제를 풀었다는 사실보다 더 중요한 건 그 뒤에 깔린 방향성입니다. AI가 수학에서 신뢰를 얻으려면 결국 재현 가능성과 검증 가능성이 관건인데요. 증명 과정이 공개됐는지, 다른 연구자가 독립적으로 확인했는지, 형식 검증기를 통과했는지, 이 세 가지가 갖춰질 때 비로소 ‘풀었다’가 무게를 갖습니다.

반대로 논문도, 검증도, 독립 확인도 없이 보도자료와 데모만 도는 단계라면, 우리는 성과가 아니라 기대감을 소비하고 있는 겁니다. 둘을 구분하는 눈이 지금 시대엔 필수 역량이 됐습니다.

AI가 수학 난제를 푸는 시대는 분명히 오고 있습니다. 다만 그 문이 얼마나 열렸는지는, 헤드라인이 아니라 검증된 증명이 말해줄 겁니다. 여러분은 어떠신가요. AI가 낸 증명이 형식 검증만 통과한다면, 그 안의 아이디어가 사람에게서 나왔든 기계에서 나왔든 ‘진짜 수학’으로 인정할 수 있을까요.