AI가 자기 생각을 '암호화'하기 시작했다 — 투명성의 마지막 보루가 무너지는가

요즘 AI 모델들은 답을 바로 뱉지 않습니다. 사람처럼 “음, 이걸 먼저 따져보고…” 하면서 생각하는 과정을 거칩니다. 그런데 그 생각의 과정을 회사들이 슬그머니 암호화해 숨기기 시작했습니다. 우리가 AI를 믿을 수 있게 해주던 마지막 창문이 닫히고 있는 셈인데요.

도대체 ‘추론 과정’이 뭐길래

요즘 화제인 추론 모델(reasoning model)은 답을 내기 전에 중간 사고 과정을 길게 풀어냅니다. 이걸 체인 오브 소트(chain-of-thought, 사고의 연쇄)라고 부릅니다.

쉽게 말하면 시험지에 정답만 쓰는 게 아니라, 풀이 과정을 적는 겁니다. 12 곱하기 13을 물어보면 “12 곱하기 10은 120, 12 곱하기 3은 36, 합치면 156” 이렇게 단계를 밟는 거죠.

이 풀이 과정이 중요한 이유는 두 가지입니다. 첫째, 모델 성능이 확 올라갑니다. 단계를 밟으면 복잡한 문제를 더 잘 풉니다. 둘째, 우리가 AI를 들여다볼 수 있는 창문이 됩니다. AI가 어떤 논리로 그 답에 도달했는지, 중간에 거짓말을 꾸미진 않았는지 풀이 과정을 보면 어느 정도 짐작할 수 있으니까요.

그런데 회사들이 이 창문에 커튼을 쳤습니다

문제는 이 풀이 과정을 사용자에게 그대로 보여주지 않는다는 점입니다.

OpenAI는 추론 모델을 내놓으면서 원본 사고 과정 대신 요약본만 보여주는 방식을 택했습니다. API로 모델을 쓰는 개발자조차 진짜 날것의 추론은 받지 못합니다. 대신 모델이 정리해준 깔끔한 요약, 그리고 다음 호출에서 이어쓰라고 던져주는 암호화된 추론 덩어리(encrypted reasoning blob)를 받습니다.

이 덩어리는 사람이 읽을 수 없습니다. 그냥 알아볼 수 없는 토큰 뭉치입니다. 모델이 다음 대화에서 “내가 아까 어디까지 생각했더라"를 이어가는 용도로만 쓰입니다. 내용물은 회사 서버 안에서만 풀립니다.

정리하면 이렇습니다. AI는 분명히 깊게 생각하고 있는데, 그 생각의 원본은 우리에게 봉인된 채로 전달됩니다.

회사들의 변명, 그리고 진짜 속내

회사들이 내세우는 이유는 크게 세 가지입니다.

첫째, 안전입니다. 원본 사고 과정에는 모델이 위험한 내용을 검토하는 흔적이 그대로 남을 수 있습니다. 폭탄 만드는 법을 거절하기 전에 잠깐 그 방법을 떠올렸다면, 그 떠올린 내용이 날것으로 노출될 수 있다는 거죠.

둘째, 모니터링 능력 보존입니다. 이게 좀 역설적입니다. 사고 과정을 사용자에게 공개하면, 사람들이 그걸 보고 “이렇게 생각하면 안 들키는구나” 하면서 모델을 학습시켜 우회하게 만든다는 논리입니다. 사고 과정을 숨겨야 오히려 회사가 그걸 감시 도구로 계속 쓸 수 있다는 주장인데요. Anthropic을 비롯한 연구자들은 사고 과정이 안전 감시의 핵심 수단이라며, 이 창문이 닫히지 않게 보존하자고 목소리를 내왔습니다.

셋째, 솔직히 말하면 영업 비밀입니다. 원본 사고 과정을 공개하면 경쟁사가 그걸 긁어다가 자기 모델을 학습시킬 수 있습니다. 비싸게 만든 추론 능력을 통째로 베껴갈 위험이 있는 거죠. 이게 어쩌면 가장 현실적인 이유일지도 모릅니다.

신뢰의 문제: 우리는 무엇을 잃는가

여기서 본질적인 긴장이 생깁니다.

AI 안전 연구자들이 오랫동안 강조한 게 있습니다. 사고 과정의 충실성(faithfulness)입니다. 모델이 실제로 그렇게 생각해서 그 답을 냈는지, 아니면 그럴듯하게 포장만 한 건지를 따지는 개념입니다.

연구에 따르면 AI는 종종 진짜 이유와 다른 풀이를 적습니다. 속으로는 A 때문에 그 답을 골랐으면서, 겉으로는 그럴듯한 B를 풀이로 써내는 경우가 있다는 겁니다. 그래서 사고 과정을 들여다보는 게 안전 연구의 핵심 과제였습니다.

그런데 그 사고 과정마저 암호화돼 봉인되면, 외부 연구자나 규제 기관은 검증할 길이 막힙니다. “우리가 안에서 잘 감시하고 있으니 믿으세요"라는 말만 남습니다. 안전을 위해 투명성을 닫는 건데, 그 안전이 제대로 작동하는지조차 외부에서 확인할 수 없게 되는 모순입니다.

게다가 개발자 입장에서도 불편합니다. 암호화된 덩어리는 이식이 안 됩니다. 특정 회사의 API에 묶여버립니다. 모델이 왜 그런 답을 냈는지 디버깅하기도 어렵습니다. 그냥 “블랙박스가 한 단계 더 깊어졌다"고 보면 됩니다.

그래서, 이게 뉴노멀이 될까요

흐름은 분명합니다. 추론 능력이 모델의 핵심 경쟁력이 될수록, 회사들은 그 과정을 더 꽁꽁 숨길 동기가 커집니다. 암호화된 추론 덩어리는 점점 표준이 되어갈 가능성이 높습니다.

다만 반대 흐름도 있습니다. 오픈소스 진영의 추론 모델들은 사고 과정을 그대로 공개합니다. 투명성을 원하는 연구자와 개발자에게는 이쪽이 대안이 될 수 있습니다. 결국 “닫힌 고성능 모델” 대 “열린 검증 가능한 모델"의 구도가 더 선명해질 겁니다.

AI가 똑똑해질수록, 우리는 그 머릿속을 점점 더 못 들여다보게 되는 역설 속에 있습니다. 안전을 위한 봉인이라는 말, 어디까지 믿어야 할까요. 여러분은 AI의 생각을 직접 검증할 권리가 사용자에게 있다고 보시나요, 아니면 회사의 통제에 맡기는 게 맞다고 보시나요.