AI가 수학을 풀었다는데, 언제 ‘성과’라고 불러도 될까요?

핵심 요약

• ‘수학 성과 3건 철회’라는 표현만으로는 무엇을 철회했고 어떤 오류가 있었는지 알 수 없습니다.
• 많은 사례에서 답이 맞았다고 해도 모든 경우에 성립한다는 증명을 대신할 수는 없습니다.
• AI 연구 결과를 발표할 때는 검증이 어디까지 끝났고 사람과 모델이 각각 무엇을 했는지 밝혀야 합니다.
• 정정할 때는 무엇이 틀렸고 그 오류가 어떤 결론까지 영향을 미치는지 함께 설명해야 합니다.

AI가 수학 문제를 풀었다는 발표를 접하면 연구를 어디까지 맡길 수 있을지 생각하게 됩니다. 하지만 ‘OpenAI 수학 성과 3건 철회’라는 문구만으로 실제 철회가 있었다고 단정할 수는 없습니다. 이 표현을 판단하려면 무엇을 성과로 발표했는지, 그중 무엇을 어떤 이유로 거뒀다는 것인지부터 살펴봐야 합니다.

1. ‘3건’보다 먼저 봐야 할 것은 철회의 대상입니다

‘수학 성과를 철회했다’는 말은 여러 상황을 가리킬 수 있습니다. 논문 전체를 거뒀다는 뜻일 수도 있고, 특정 증명에서 빈틈을 발견해 결론을 보류했다는 뜻일 수도 있습니다. 연구 내용은 그대로 두고 과장된 홍보 문구만 바로잡았다면 이 역시 따로 구분해야 합니다.

먼저 확인할 것은 무엇을 철회했는가입니다. 논문 세 편인지, 한 문서에 담긴 주장 세 개인지조차 모르는 상태에서는 ‘3건’이라는 숫자만으로 오류가 얼마나 큰지 알 수 없습니다.

왜 철회했는지도 살펴봐야 합니다. 증명의 어느 단계가 잘못됐다고 해서 결론까지 반드시 거짓인 것은 아닙니다. 증명을 고쳐 결론을 살릴 수도 있습니다. 하지만 결론에 어긋나는 반례가 나왔다면 해당 주장을 그대로 유지할 수 없습니다.

새로운 발견이라는 평가만 달라지는 경우도 있습니다. 풀이가 옳아도 이미 알려진 결과라면, 풀이가 정확한지와 새로운 발견인지는 따로 판단해야 합니다.

이 기준은 OpenAI든 다른 연구 조직이든 똑같이 적용해야 합니다. 회사 이름이나 철회 건수만 보고 개별 결과까지 옳다거나 틀렸다고 판단할 수는 없습니다.

2. 백만 번 맞아도 증명은 아닐 수 있습니다

가령 AI가 “이 식은 모든 자연수에서 성립한다”고 주장했다고 해보겠습니다. 컴퓨터로 100만 개의 값을 넣어봤더니 모두 맞았습니다. 꽤 강한 단서로 보일 수 있지만, 이것만으로 그다음 수에서도 맞는다고 보장할 수는 없습니다.

그래서 이런 주장을 하려면 수학적 증명이 필요합니다. 아직 확인하지 않은 경우에도 왜 결론이 성립하는지 증명으로 보여줘야 합니다.

AI가 긴 풀이를 썼다고 해서 이 문제가 저절로 해결되지는 않습니다. 풀이에 쓴 정리를 적용할 수 있는 조건인지 확인해야 합니다. “따라서 성립한다”는 한 문장으로 사실은 가장 어려운 단계를 건너뛰었을 수도 있습니다.

이때 쓸 수 있는 도구가 형식 검증입니다. 증명을 엄밀한 형식으로 작성하면 컴퓨터가 정해진 논리 규칙에 따라 각 단계를 검사합니다.

다만 무엇을 검사했는지는 따져봐야 합니다. 원래 문제보다 약한 명제를 입력했다면, 그 명제에 대한 증명이 검증을 통과해도 원래 문제를 해결한 것은 아닙니다. 검증에 쓴 가정이 원래 문제에서도 허용되는지 확인할 필요도 있습니다.

독자가 판단하려면 “검증을 통과했다”는 한 줄만으로는 부족합니다. 어떤 명제를 확인했는지 밝히고, 그때 사용한 가정과 검증 방식도 구체적으로 설명해야 합니다.

3. 발표 시점보다 검증 상태를 정확히 알리는 것이 중요합니다

저는 모든 검증을 끝낸 뒤에만 연구 결과를 공개해야 한다고 생각하지는 않습니다. 풀이 후보를 공개하면 다른 연구자가 빈틈을 찾아내거나 그 접근법을 더 발전시킬 수 있습니다.

다만 공개한 결과의 상태는 분명히 밝혀야 합니다.

예를 들어 아직 검토 중이라면 “AI가 미해결 문제를 해결했다”보다 “AI가 생성한 증명 후보를 공개한다”는 표현이 적절합니다. 전문가가 검토한 경우에는 어디까지 검토했는지 밝혀야 합니다. 형식 검증을 거쳤다면 어떤 명제를 검증했고 어떤 가정을 썼는지 확인할 수 있어야 합니다.

‘검토 완료’라는 말만으로 모든 검토를 마쳤다고 볼 수도 없습니다. 누군가 전체 논증을 확인했는지, 계산 일부만 점검했는지에 따라 그 말의 의미가 달라집니다.

사람과 모델이 각각 맡은 역할도 설명해야 합니다. AI가 핵심 아이디어를 제안했는지, 사람이 만든 논증을 정리했는지는 구분할 필요가 있습니다. 사람이 오류를 고쳤다면 어디에 손을 댔는지도 성과를 이해하는 데 필요한 정보입니다.

이런 설명이 있어야 독자는 결과가 정확한지와 AI가 얼마나 해냈는지를 따로 판단할 수 있습니다. 완성된 증명이 있다고 해서 AI가 모든 과정을 혼자 해냈다고 결론 내릴 수는 없으니까요.

4. 정정은 원래 발표만큼 찾기 쉬워야 합니다

오류를 발견한 뒤 무엇을 어떻게 바로잡느냐에 따라 독자가 연구를 얼마나 신뢰할지도 달라집니다.

정정문에는 바뀐 주장, 변경 이유, 영향 범위, 이 세 가지를 분명히 밝혀야 합니다.

가령 증명의 특정 단계가 성립하지 않는다면 어느 부분인지 짚어줘야 합니다. 그 때문에 최종 결론을 보류하는지, 일부 조건을 추가하면 결론을 유지할 수 있는지도 설명해야 합니다. 아직 판단하지 못했다면 그대로 밝히면 됩니다.

수정본만 조용히 바꿔놓으면 독자는 무엇이 달라졌는지 알기 어렵습니다. 최초 발표에 정정 안내를 붙이고, 이전 버전과 수정 이력을 확인할 수 있게 하는 편이 좋습니다. 크게 홍보한 주장을 거뒀다면 정정 소식도 비슷한 경로로 전달해야 합니다.

오류를 인정했다는 이유만으로 연구 전체를 실패로 볼 필요는 없습니다. 그렇다고 정정했다는 사실이 최초 발표의 과장까지 없애주지는 않습니다. 처음에 어떤 근거로 어디까지 주장했는지는 따로 따져봐야 합니다.

AI 수학 연구를 볼 때 저는 성과가 몇 개인지보다 검증이 어디까지 끝났는지를 먼저 봅니다. “AI가 난제를 풀었다”는 제목 아래에 증명과 검토 범위, 수정 이력이 함께 공개돼 있어야 독자도 그 성과를 판단할 수 있습니다.