AI가 증명 대신 '반례'를 들고 왔다 — 야코비안 추측 사건이 진짜 무서운 이유

먼저 솔직하게 말씀드리겠습니다. 이번 주제는 커뮤니티 데이터가 거의 없었습니다. 리서치를 돌렸는데 최근 30일 내 관련 스레드가 하나도 잡히지 않았습니다. 그래서 이 글은 “커뮤니티가 이렇게 반응했다"는 정리가 아니라, 이런 종류의 사건이 왜 중요한가에 대한 제 해석 위주로 써보려 합니다. 구체적인 반례 내용이나 검증 상태에 대한 팩트는 제가 확인할 수 없었다는 점을 먼저 밝혀둡니다.

야코비안 추측이 뭐길래

야코비안 추측(Jacobian Conjecture)은 1939년 오트-하인리히 켈러가 제기한 문제입니다. 아주 거칠게 설명하면 이렇습니다. 다항식으로 이루어진 함수가 있는데, 이 함수의 “미분 행렬식"이 0이 아닌 상수라면, 그 함수는 항상 역함수를 가져야 한다는 주장입니다.

직관적으로는 당연해 보입니다. 어디서도 찌그러지지 않는 변환이라면 되돌릴 수 있어야죠. 그런데 80년 넘게 아무도 증명하지 못했습니다. 반대로 반례도 못 찾았습니다. 필즈상 수상자들이 달려들었고, 여러 차례 “증명했다"는 논문이 나왔다가 오류가 발견되어 철회됐습니다. 수학계에서 이 문제는 사람을 잡아먹는 난제로 유명합니다.

증명과 반례는 완전히 다른 게임입니다

여기서 핵심을 짚고 넘어가야 합니다. AI가 수학 난제를 “풀었다"는 뉴스는 이미 여러 번 있었습니다. 그런데 증명과 반례는 성격이 전혀 다릅니다.

증명은 모든 경우에 대해 성립함을 논리적으로 보이는 일입니다. 길고, 구조적이고, 사람이 검토하기 어렵습니다. AI가 100페이지짜리 증명을 내놓으면 수학자들은 몇 달을 들여 읽어야 합니다.

반례는 정반대입니다. 딱 하나만 찾으면 됩니다. 그리고 검증이 압도적으로 쉽습니다. “이 함수가 조건을 만족하는데 역함수가 없다"는 주장은, 그 함수를 대입해서 계산해보면 몇 시간 안에 참거짓이 갈립니다. 사람이 감으로 판단할 여지가 없습니다.

즉 반례는 AI가 가장 잘할 수 있으면서, 동시에 인간이 가장 빠르게 검증할 수 있는 형태의 기여입니다. 이 조합이 무섭습니다.

왜 사람은 반례를 못 찾았을까

수학자들이 게을러서가 아닙니다. 반례 탐색은 본질적으로 탐색 공간이 미친 듯이 넓은 작업입니다.

야코비안 추측의 반례 후보는 다변수 다항식입니다. 변수 개수, 차수, 계수 조합을 조금만 늘려도 경우의 수가 폭발합니다. 사람은 여기서 “이쪽은 아닐 것 같다"는 직관으로 가지치기를 합니다. 그런데 그 직관이 바로 함정입니다. 80년 동안 반례를 못 찾았다는 건, 어쩌면 모두가 비슷한 곳만 뒤졌다는 뜻일 수도 있습니다.

AI에게는 그 직관이 없습니다. 정확히 말하면, 사람과 다른 직관이 있습니다. 학습 데이터에서 나온 패턴 감각으로 사람이 “촌스럽다"고 넘긴 영역을 아무렇지 않게 뒤집니다. 미학적 편견이 없는 탐색자입니다.

이 사건이 던지는 진짜 질문

여기서 재밌는 역설이 생깁니다. 반례가 나왔다는 건 그 추측이 틀렸다는 뜻입니다. 80년간 수많은 수학자가 증명하려고 매달렸던 명제가, 애초에 참이 아니었다는 겁니다.

그럼 이런 질문이 따라옵니다. 우리가 참이라고 믿고 증명에 인생을 걸고 있는 다른 추측들은 어떨까요? 리만 가설, 콜라츠 추측, P≠NP. 이것들도 사람의 미적 감각이 만들어낸 착각일 가능성은 없을까요?

지금까지 수학의 진행 방식은 이랬습니다. 누군가 아름다운 추측을 던지고, 수십 년간 사람들이 증명을 시도합니다. 반례 탐색은 상대적으로 인기 없는 일이었습니다. 논문이 안 나오고, 대부분 실패하니까요.

AI는 이 비용 구조를 바꿉니다. 반례 탐색이 싸지면, 추측을 의심하는 일이 표준 절차가 됩니다. 새 추측이 나오면 일단 AI를 며칠 돌려보는 게 당연해질 수 있습니다.

그래서 수학자는 뭘 하게 되나

“AI가 수학자를 대체한다"는 결론으로 가면 너무 게으른 해석입니다. 반례는 그 자체로 통찰이 아닙니다. 반례가 나온 다음이 진짜 시작입니다.

왜 이 지점에서 깨지는가. 조건을 어떻게 수정하면 여전히 참인 명제가 되는가. 이 반례는 특수한 예외인가, 아니면 더 큰 구조의 신호인가. 이건 사람의 일입니다. 최소한 아직은요.

AI가 잘하는 건 넓게 뒤지는 것이고, 사람이 잘하는 건 왜인지 묻는 것입니다. 역할 분담이 꽤 선명해지고 있습니다.

마무리

이번 사건에서 가장 중요한 건 “AI가 수학을 풀었다"가 아닙니다. AI가 사람의 직관이 놓친 곳을 정확히 찔렀다는 점입니다. 그리고 그 결과가 몇 시간 만에 검증 가능한 형태였다는 점입니다.

앞으로 몇 년간 오래된 추측 몇 개가 더 무너질 거라고 봅니다. 아름답다는 이유로 참일 거라 믿어온 것들이요.

여러분이 지금 당연하다고 믿고 있는 것 중에, 아무도 반례를 진지하게 찾아본 적 없는 건 뭘까요. 꼭 수학 얘기만은 아닐 겁니다.