AI가 미해결 수학을 다 풀어버리면, 인류의 지적 광산은 고갈될까

금은 캐면 캘수록 줄어듭니다. 수학의 미해결 문제도 그런 자원이라면 어떨까요. AI가 정답을 빠르게 찾아내기 시작하자, 인간이 탐험할 지적 미지의 영역까지 고갈되는 것 아니냐는 우려가 나옵니다.

미해결 문제는 왜 ‘비재생 자원’일까요

수학자 테렌스 타오는 공개된 미해결 문제를 비재생 자원에 비유했습니다. 한 번 풀린 문제는 다시 미해결 상태로 돌아가지 않기 때문입니다.

이 비유는 문제 풀이보다 더 넓은 의미를 품고 있습니다. 수학 문제는 답 하나를 얻으려고만 존재하지 않습니다. 문제를 푸는 과정에서 새로운 개념이 생기고 기존 이론의 빈틈이 드러납니다. 다음 세대 연구자도 그 과정에서 훈련됩니다.

문제 하나를 산이라고 생각해보겠습니다. 누군가 먼저 정상에 올라 경로와 지도를 모두 공개하면 그 뒤의 등반은 달라집니다. 같은 길을 따라 오를 수는 있어도 길을 처음 내면서 겪는 시행착오까지 되살리기는 어렵습니다.

AI가 미해결 문제를 대량으로 풀기 시작하면 이런 변화가 수학 전반에 퍼질 수 있습니다. 타오가 던진 질문은 “AI가 수학자를 대체할까”보다 근본적입니다. 인간이 직접 탐험할 미지의 영역이 얼마나 남을까라는 것입니다.

AI의 수학 실력은 이미 증명 단계로 들어왔습니다

과거의 AI는 계산기나 검색 도구에 가까웠습니다. 이제는 문제를 이해한 뒤 풀이 전략을 짜고, 형식적으로 검증할 수 있는 증명을 내놓는 쪽으로 나아가고 있습니다.

구글 딥마인드가 2024년 공개한 AlphaProof와 AlphaGeometry 2는 국제수학올림피아드 문제에서 42점 만점에 28점을 기록했습니다. 은메달권에 해당하는 성적이었습니다. 사칙연산 수준을 넘어 대수학과 정수론, 기하학 문제를 증명 형태로 풀었다는 점이 중요합니다.

물론 올림피아드 문제와 진짜 미해결 연구 문제는 다릅니다. 올림피아드 문제에는 출제자가 알고 있는 해답이 있습니다. 연구 현장의 문제는 해답이 있는지조차 확실하지 않을 때가 많습니다.

그래도 방향은 뚜렷합니다. AI는 정답을 맞히는 데서 새로운 증명을 탐색하는 단계로 넘어가고 있습니다. 형식 증명 시스템과 결합하면 사람이 놓친 오류도 기계적으로 찾아낼 수 있습니다.

진짜 고갈되는 것은 문제가 아니라 ‘발견의 순간’입니다

수학 문제의 수 자체가 유한한 것은 아닙니다. 하나의 정리가 증명되면 그 결과를 디딤돌 삼아 또 다른 질문들이 생겨납니다. 그런 점에서 수학 전체가 바닥날 가능성은 낮습니다.

하지만 좋은 미해결 문제가 저절로 생기는 건 아닙니다. 여러 이론을 잇고 중요한 구조를 드러내면서, 풀었을 때 학문을 앞으로 밀어주는 문제는 드뭅니다. 그래서 유명한 난제는 연구 공동체가 함께 관리해온 지적 공유지에 가깝습니다.

AI가 이런 문제를 빠르게 처리하면 정답은 많아집니다. 하지만 인간 연구자가 문제와 씨름하면서 쌓는 직관과 실패의 경험은 줄어들 수 있습니다.

그래서 역설이 생깁니다. 인류가 가진 정리는 더 많아져도, 그 정리가 왜 흥미로운지를 설명할 사람은 오히려 부족해질 수 있습니다. 결과를 만들어내는 속도가 이해하는 속도를 앞지르는 셈입니다.

그렇다면 AI의 증명을 잠시 숨겨야 할까요

가장 논쟁적인 방법은 AI가 발견한 증명을 곧바로 공개하지 않는 것입니다. 인간 연구자가 먼저 도전할 시간을 주자는 생각입니다.

하지만 현실에서는 쉽지 않습니다. 중요한 증명을 먼저 발표하면 학문적 명성과 경제적 가치를 얻을 수 있습니다. 여러 기업과 연구소가 경쟁하는 상황에서 모두가 결과 공개를 미루기는 어렵습니다.

무엇보다 지식을 일부러 봉인하는 일이 바람직한지도 따져봐야 합니다. 난제의 해결이 암호학, 물리학, 생명과학의 발전으로 이어진다면 공개를 늦추는 데도 비용이 발생합니다.

그나마 현실적인 방법은 문제를 계층별로 관리하는 것입니다. AI의 도움 없이 도전하는 인간 전용 트랙과 AI를 적극 활용하는 공동 연구 트랙으로 나눌 수 있습니다. 증명에서 AI가 맡은 부분과 인간이 만든 핵심 아이디어를 구분해 기록하는 방법도 있습니다.

수학 교육도 답을 찾는 능력만 평가해서는 곤란합니다. 앞으로는 좋은 질문을 만들고 증명의 의미를 해석하며 서로 다른 개념을 연결하는 능력이 더 중요해질 것입니다.

채굴자보다 탐사자가 필요한 시대

최근 30일 동안 이 주제를 다룬 공개 커뮤니티 반응은 충분히 확인되지 않았습니다. 지금 당장 거대한 여론이 형성됐다고 말하기보다는 AI 수학이 발전할수록 커질 장기적인 논쟁으로 보는 편이 정확합니다.

AI가 미해결 문제를 먼저 푼다고 해서 수학이 끝나는 것은 아닙니다. 다만 인간의 역할은 정답을 캐내는 사람에서 어디를 파야 하는지 결정하는 사람으로 바뀔 수 있습니다. 그때 우리는 더 많은 답을 가진 문명을 원할까요. 아니면 발견의 기쁨까지 인간의 몫으로 남겨둔 문명을 원할까요.