가중치를 푼 순간 안전장치는 어디로 가는가 — GLM-5.3와 '창발한 사이버 능력'이라는 폭탄 선언

AI 안전 논쟁에는 오랫동안 암묵적인 전제가 하나 있었습니다. 위험한 능력이 나타나면 그걸 만든 곳이 잠글 수 있다는 전제요. GLM-5.3 이야기가 불편한 건 바로 그 전제를 건드리기 때문입니다. 모델 카드에 “사이버 공격 관련 능력이 창발했다"고 적어놓고 가중치는 통째로 공개한다면, 지금까지 쌓아온 안전 체계는 대체 뭘 지키고 있었던 걸까요.

시작 전에 하나 밝혀둡니다. 이 글을 준비하면서 최근 30일치 커뮤니티 반응을 훑었는데 Reddit에서는 이 주제로 잡히는 논의가 거의 없었습니다. X 데이터도 인증 문제로 구하지 못했고요. 그래서 이 글은 “커뮤니티가 이렇게 반응했다"는 리포트가 아니라 구조적으로 무엇이 걸려 있는지 짚는 쪽에 가깝습니다. 수치나 반응 인용이 적은 건 그 때문입니다.

‘창발했다’는 자백이 왜 특이한가

AI 랩이 자기 모델의 위험 능력을 언급할 때 톤은 대개 둘 중 하나입니다. “우리는 이런 위험을 평가했고 통제 가능하다고 판단했다"거나 “이 영역은 아직 우리 모델이 잘 못한다"거나요. 능력이 있다고 인정하는 순간 책임도 따라오니 다들 조심해서 씁니다.

그런데 ‘창발(emergent)‘은 결이 다른 단어입니다. 여기엔 의도하지 않았다는 뜻이 깔려 있습니다. 코딩 성능을 올리려고 학습시켰는데 취약점 탐색과 익스플로잇 작성 능력이 따라왔다는 이야기죠. 사실 놀랄 일은 아닙니다. 코드를 잘 읽고 잘 쓰는 능력과 코드의 결함을 찾아내는 능력은 애초에 같은 근육입니다. 프론티어급 코딩 모델을 만들면 공격 능력은 부산물로 딸려 옵니다.

문제는 그다음입니다. 미국 쪽 랩은 이 지점에서 브레이크를 겁니다. Anthropic의 ASL 체계나 OpenAI의 준비도 프레임워크가 하는 일이 그겁니다. 위험 등급이 올라가면 배포를 늦춥니다. API 접근을 심사제로 돌리기도 하고 특정 요청 패턴은 아예 막습니다. 능력은 있되 수도꼭지는 만든 쪽이 쥐고 있는 구조입니다.

오픈웨이트는 수도꼭지가 없다

가중치를 공개한다는 건 그 수도꼭지를 아예 뜯어낸다는 뜻입니다. 여기서 자주 헷갈리는 대목이 하나 있습니다.

오픈웨이트 모델도 안전 학습은 되어 있습니다. “이 서버를 뚫는 코드를 짜줘"라고 하면 거절하도록 훈련돼 있죠. 문제는 그 거절이 가중치 위에 얹힌 얇은 층이라는 겁니다. 파일이 손에 있으면 파인튜닝으로 벗겨낼 수 있습니다. 학계 연구가 이미 여러 번 보여준 바로는 수백 개 수준의 샘플과 소비자용 GPU 몇 장이면 안전 정렬을 상당 부분 무력화할 수 있습니다. 비용이 억 단위가 아니라 몇십만 원 단위라는 게 핵심입니다.

API 모델이었다면 이런 시도는 서버 로그에 남습니다. 계정은 정지되고 그 패턴은 곧 차단됩니다. 오픈웨이트에서는 그 모든 게 사라집니다. 누가 받아갔는지, 무엇을 시켰는지 아무도 모릅니다. 어떻게 변형했는지도요. API 모델과 갈리는 결정적 지점은 되돌리기 버튼이 없다는 겁니다. API는 문제가 생기면 끄면 되지만 배포된 가중치는 회수라는 개념 자체가 없습니다.

그런데 정말 이게 판을 바꾸는가

반론도 공정하게 다뤄야죠. 오픈소스 진영에서 오랫동안 해온 이야기가 있거든요.

공격 도구는 이미 널려 있습니다. Metasploit도 Cobalt Strike 유출본도 자동화 스캐너도 다 있습니다. AI 모델 하나 늘었다고 공격자 쪽 사정이 극적으로 달라지진 않는다는 겁니다. 같은 능력이 방어에도 쓰인다는 반론도 있습니다. 코드 감사, 퍼징, 취약점 사전 탐지는 지금 인력이 부족해서 못 하는 일이니까요. 능력을 닫아걸면 그 능력을 이해하는 사람마저 소수 대기업 안에만 남는다는 지적도 나옵니다.

다 진지하게 따져볼 만한 이야기입니다. 다만 저는 규모의 문제가 빠졌다고 봅니다. 기존 도구는 숙련된 사람이 운전해야 합니다. 프론티어급 코딩 모델은 그 운전석에 앉을 수 있는 사람을 크게 늘립니다. 취약점 발견부터 익스플로잇 작성, 캠페인 자동화까지 이어지는 사슬을 한 명이 돌릴 수 있게 되는 거죠. 공격의 난이도가 아니라 공격의 단가가 떨어지는 게 진짜 변화입니다.

방어 쪽 이득이 진짜라는 데는 동의합니다. 문제는 타이밍이 비대칭이라는 점입니다. 공격자는 모델을 받은 다음 날부터 쓸 수 있지만 방어자는 조직 승인을 받고 도구를 붙이고 프로세스를 손봐야 합니다. 같은 능력이 풀려도 먼저 쓰는 쪽은 정해져 있습니다.

진짜 무너지는 지점은 규제가 아니라 합의다

여기가 제일 중요한 대목이라 따로 뗐습니다. 사람들은 보통 이 문제를 규제 공백으로 읽습니다. 미국이나 EU가 중국 랩의 공개를 막을 수 없으니 규제가 무력하다는 식이죠. 맞는 말이지만 절반만 맞습니다.

실제로 무너지는 건 자발적 자제의 논리입니다. 지금까지 프론티어 랩의 안전 정책은 대부분 자율규제였습니다. 법이 강제해서가 아니라 업계 전체가 비슷하게 움직이리라는 기대 덕에 굴러갔습니다. 나만 브레이크를 밟아도 다른 곳도 같이 밟으니 경쟁에서 밀리지 않는다는 계산이요.

그 기대가 깨지면 계산도 바뀝니다. 어떤 랩이 위험 능력을 이유로 배포를 6개월 늦췄는데 그 사이 동급 능력이 무료 다운로드로 풀린다면, 그 6개월은 안전에 기여한 시간일까요 아니면 그냥 시장을 내준 시간일까요. 이 질문에 사내에서 답하기 어려워지는 순간 안전팀의 발언권은 조용히 줄어듭니다.

그래서 이 사건의 진짜 파급은 GLM-5.3으로 누가 뭘 하느냐보다 다른 랩들이 다음에 내릴 결정에서 나올 가능성이 큽니다. 기준을 낮췄다고 말하는 곳은 없을 겁니다. 다만 등급 판정이 조금씩 관대해지고 배포 유예 기간이 조금씩 짧아지겠죠. 눈에 띄지 않는 속도로요.

우리가 실제로 준비할 수 있는 것

거창한 정책 제안은 접어두고 당장 할 수 있는 얘기를 하죠.

보안 담당자라면 전제를 하나 바꿔야 합니다. “이 취약점은 발견하기 어려우니 당분간 괜찮다"는 가정이 약해졌습니다. 찾아내는 비용이 떨어졌으니 패치 주기와 노출된 자산 목록 관리가 예전보다 훨씬 중요해집니다.

개발자라면 코드 리뷰에 AI를 붙이는 걸 미룰 이유가 줄었습니다. 상대가 쓰는 도구를 나도 쓰는 게 최소한의 균형입니다.

정책을 보는 분이라면 배포 통제에만 매달리는 방식의 한계를 인정할 필요가 있습니다. 가중치가 풀린 뒤에는 통제할 대상이 없습니다. 남는 건 얼마나 빨리 탐지하고 대응하느냐입니다. 터진 뒤 복구하는 능력도요.

잠글 수 없는 세계에서

GLM-5.3이 특별히 악의적인 사건이라고 말하려는 게 아닙니다. 오히려 예고된 순간에 가깝습니다. 프론티어 능력이 오픈웨이트로 풀리는 흐름은 계속될 것이고 위험한 능력이 창발하는 일도 반복될 겁니다.

답해야 할 질문은 이겁니다. 능력을 잠글 수 없다는 게 확실해진 세계에서 안전에 쓸 돈과 사람은 어디로 가야 할까요. 배포를 막는 문 앞일까요, 아니면 이미 풀린 능력이 만들어낼 피해를 줄이는 쪽일까요. 저는 뒤쪽 비중이 빠르게 커질 거라고 봅니다. 지금 우리 조직의 보안 계획은 어느 쪽 전제 위에 서 있나요.