앤트로픽이 'AI가 암호를 깼다'고 발표했을 때, 암호학자들이 한 말

AI 연구소가 “우리 모델이 암호를 깼다"고 발표하면 헤드라인은 순식간에 퍼집니다. 정작 암호학자들 반응은 미지근합니다. 존스홉킨스의 매튜 그린 같은 사람이 특히 그렇습니다. 전문가 텃세일까요? 뜯어보면 아닙니다.

미리 밝혀두면, 이번 주제는 커뮤니티 데이터가 거의 안 잡혔습니다. 레딧에서 최근 30일 내 관련 논의를 못 찾았습니다. 그래서 아래는 이 분야에서 반복돼온 패턴과 검증 논리를 중심으로 정리했습니다. 특정 발표의 구체적 수치나 그린 교수의 개별 발언을 인용하기보다 “왜 이런 논쟁이 매번 같은 모양으로 반복되는가"에 초점을 맞췄습니다.

“암호를 깼다"는 말이 실제로 뜻하는 것

용어부터 정리해야 합니다. 암호학에서 “깼다(break)“는 일상어보다 훨씬 넓습니다.

AES-256을 실제로 무력화해서 아무 암호문이나 평문으로 바꾼다면 당연히 깬 겁니다. 그런데 전수 탐색보다 조금이라도 빠른 공격법을 찾아내도 학술적으로는 “깬 것"으로 칩니다. 2의 256제곱 대신 2의 254제곱 번 계산하면 되는 방법을 발견했다? 이것도 break입니다. 현실에서는 여전히 우주의 수명보다 오래 걸리지만요.

첫 번째 간극이 여기서 생깁니다. 논문에는 “reduced-round 버전에 대한 distinguisher를 찾았다” 같은 식으로 정확하게 쓰여 있는데, 보도자료나 트윗으로 옮겨지면서 “AI가 암호를 해독했다"가 됩니다. 발표자가 거짓말을 한 게 아닙니다. 정확한 표현이 유통 과정에서 뭉개집니다.

암호학자들이 실제로 확인하는 것들

매튜 그린을 비롯한 암호학자들이 AI 암호해독 주장을 볼 때 던지는 질문은 대체로 정해져 있습니다.

첫째, 무엇을 상대로 이겼나. 실전에서 쓰이는 완전한 암호 알고리즘인가, 라운드 수를 줄인 축소판인가. 축소판을 깨는 건 암호 연구의 정상적인 과정이지만 실전 시스템이 뚫렸다는 뜻은 아닙니다. AES는 14라운드인데 6라운드짜리를 깼다면, 의미 있는 연구 결과이면서 동시에 여러분 은행 앱과는 상관없는 이야기입니다.

둘째, 사람이 이미 아는 걸 재발견한 건 아닌가. 고전 암호나 교과서적 취약점은 문헌에 다 나와 있습니다. 학습 데이터에 들어 있었을 가능성이 매우 높죠. 모델이 새로운 수학적 통찰을 얻은 것과, 논문에 있던 공격법을 잘 기억해서 재현한 것은 완전히 다른 사건입니다. 그런데 결과물만 보면 구분이 안 갑니다.

셋째, 재현 가능한가. 암호학은 검증 문화가 유난히 강한 분야입니다. 코드와 파라미터가 공개돼야 하고, 남이 돌려서 같은 결과가 나와야 합니다. “우리 내부 평가에서 모델이 이걸 풀었다"는 서술은 암호학 커뮤니티에서 증거로 취급되지 않습니다.

넷째, 몇 번 시도했나. 모델을 수천 번 돌려서 한 번 성공한 것과, 안정적으로 재현되는 능력은 다릅니다. AI 벤치마크 전반의 고질적 문제이기도 하죠.

그린이 특히 예민한 이유

매튜 그린은 오래전부터 암호 관련 과장 보도에 강하게 반응해온 사람입니다. 양자컴퓨터가 RSA를 깼다는 주장이 나올 때마다 조목조목 반박해온 이력이 있죠. 2023년 중국 연구진의 양자 인수분해 논문 때도, 여러 스타트업의 “양자 우위” 주장 때도 그랬습니다.

이렇게 매번 나서는 데는 이유가 있습니다. 암호는 신뢰로 굴러가는 인프라입니다. “RSA가 깨졌다더라"는 소문이 잘못 퍼지면 실제 마이그레이션 우선순위가 뒤틀리고 예산이 엉뚱한 데 배정되고 정작 시급한 문제는 뒤로 밀립니다. 진짜 위협을 과소평가하면 그건 또 재앙입니다. 그래서 이 분야 사람들은 주장의 정확한 범위를 따지는 데 유난히 집착합니다. 성격이 까칠해서가 아니라 직업윤리에 가깝습니다.

AI 연구소 발표가 특히 검증대에 오르는 건 발표 주체가 곧 이해당사자이기 때문입니다. 모델 성능이 곧 기업 가치인 회사가 자사 모델의 돌파구를 발표하는 구조입니다. 논문 심사를 거친 학술 발표와는 인센티브가 다릅니다. 앤트로픽만의 문제도 아닙니다. 오픈AI든 구글 딥마인드든 똑같이 적용됩니다.

그렇다고 AI가 쓸모없다는 뜻은 아닙니다

여기서는 반대쪽도 봐야 합니다. 회의론이 “AI는 암호학에 도움이 안 된다"로 번역되면 그것도 틀립니다.

LLM이 잘하는 영역이 실제로 있습니다. 암호 구현의 버그를 찾는 일이 대표적입니다. 수학적으로 완벽한 알고리즘도 코드로 옮기는 과정에서 상수시간 비교를 안 지키거나, 난수 시드를 잘못 다루거나, 패딩 검증을 빼먹으면 뚫립니다. 현실의 암호 사고는 알고리즘이 깨져서가 아니라 이런 구현 실수에서 훨씬 자주 터집니다. 코드 패턴 인식은 언어모델이 구조적으로 잘하는 일입니다.

퍼징 하네스 작성, 프로토콜 명세의 모호한 부분 찾기, 방대한 문헌 속에서 유사 공격 사례 연결하기 같은 보조 작업도 마찬가지입니다. 화려하진 않지만 실질적입니다.

구분할 건 하나입니다. 새로운 수학적 공격 기법의 발견과 기존 지식의 능숙한 적용은 난이도가 다릅니다. 전자는 아직 인간 암호학자들이 수십 년에 걸쳐 조금씩 밀어붙이는 영역입니다. 후자는 이미 AI가 상당히 잘합니다. 발표를 읽을 때 둘 중 어느 쪽인지만 가려도 혼란은 대부분 사라집니다.

발표문을 읽는 실용적인 체크리스트

앞으로 비슷한 뉴스를 만나면 이런 걸 확인하면 됩니다.

풀 라운드인가 축소 라운드인가. 실제 배포된 표준 알고리즘인가 장난감 암호인가. 공격 복잡도가 구체적 숫자로 명시되어 있는가. 코드와 데이터가 공개되어 있는가. 외부 암호학자의 검토를 거쳤는가. 성공률이 몇 퍼센트이고 몇 번 시도한 결과인가.

이 여섯 개 중 답이 비어 있는 항목이 많을수록 헤드라인과 실체의 거리는 멉니다. 반대로 다 채워져 있는데도 여전히 인상적이라면, 그건 진짜 볼 만한 결과입니다.

암호학이 먼저 부딪혔을 뿐

AI 성과 발표를 놓고 벌어지는 이런 검증 절차는 앞으로 더 중요해집니다. 모델이 실제로 강력해질수록 진짜 돌파구와 잘 포장된 재현을 가려내기가 어려워지니까요. 암호학은 검증 문화가 가장 단단한 분야라서 이 마찰이 먼저 눈에 띄었습니다. 생물학이든 재료과학이든 같은 문제가 곧 따라옵니다.

여러분은 AI가 내놓은 결과를 얼마나 검증하고 받아들이시나요. 그 검증을 누가 해줄 거라고 기대하고 계신가요. 발표하는 쪽이 검증까지 대신해주지는 않습니다.