구글의 '암호를 안 풀고 AI 돌리기' 선언, 진짜일까 마케팅일까

클라우드에 AI를 맡길 때 늘 걸리는 게 하나 있습니다. 내 데이터가 서버 메모리에서는 결국 평문으로 펼쳐진다는 점인데요. 그런데 구글이 “암호를 풀지 않은 채로 모델을 돌린다"는 이야기를 꺼냈습니다. 20년 넘게 “이론적으로는 되지만 실용성은 없다"는 평가를 받아온 동형암호(FHE)가 드디어 쓸 만해졌다는 주장입니다.

먼저 하나 짚고 갑니다. 이번 주제는 최근 30일 커뮤니티 데이터를 훑었지만 새로 잡힌 논의가 거의 없었습니다. 그래서 이 글은 실시간 여론 중계가 아니라, 기술 자체의 구조와 그동안 반복돼온 쟁점을 중심으로 정리했습니다. 숫자로 못을 박기보다 “어디까지가 진짜인지"를 가려내는 데 초점을 맞췄습니다.

동형암호가 뭐길래 20년을 끌었나

일반 암호화는 데이터를 옮기고 저장할 때만 지켜줍니다. 계산하려면 반드시 풀어야 하죠. 전송 중 암호화, 저장 시 암호화까지는 업계 표준이 됐지만 사용 중 암호화는 늘 빈칸이었습니다.

동형암호는 이 빈칸을 메우자는 아이디어입니다. 암호문 상태 그대로 덧셈과 곱셈을 하고, 그 결과를 나중에 복호화하면 평문으로 계산한 것과 같은 값이 나옵니다. 서버는 입력도 출력도 끝까지 모릅니다.

문제는 비용이었습니다. 2009년 크레이그 젠트리가 완전동형암호를 처음 구성했을 때 오버헤드는 1조 배 수준으로 이야기됐습니다. 1초짜리 연산이 3만 년이 되는 셈이죠. 이후 알고리즘이 개선되면서 이 격차는 계속 줄어왔지만, 여전히 “몇 배"가 아니라 “몇 자릿수” 단위의 이야기입니다.

구글이 실제로 내놓은 것

구글은 그동안 FHE를 조용히 밀어왔습니다. 임의의 C++ 코드를 FHE 회로로 바꿔주는 컴파일러를 오픈소스로 공개했고, 두 회사가 서로 데이터를 보여주지 않고 교집합만 계산하는 방식도 내놨습니다. 최근에는 MLIR 기반 컴파일러 인프라로 옮겨가면서 하드웨어 가속기까지 염두에 둔 설계를 하고 있습니다.

방향 자체는 분명합니다. 암호학자만 만질 수 있던 기술을 일반 개발자가 컴파일해서 쓰는 것으로 바꾸겠다는 겁니다. 이건 진짜 의미 있는 진전입니다. 지금까지 FHE의 최대 장벽은 성능만이 아니라 “쓸 줄 아는 사람이 세상에 몇백 명뿐"이라는 점이었으니까요.

다만 “AI 추론"이라는 단어에 어디까지 포함되는지는 따로 봐야 합니다. 로지스틱 회귀나 작은 신경망은 이미 암호문 위에서 돌아갑니다. 성능 벤치마크가 나오는 것도 대개 이 급입니다.

여기서 조건이 붙기 시작합니다

FHE는 덧셈과 곱셈을 잘합니다. 그런데 트랜스포머의 핵심 부품들은 그 두 가지가 아닙니다.

ReLU 같은 비선형 함수는 비교 연산이라 FHE와 궁합이 나쁩니다. 다항식으로 근사해서 넘어가는데, 차수를 올릴수록 정확도는 오르고 속도는 떨어집니다. 소프트맥스에는 지수와 나눗셈이 들어가고, 레이어 정규화에는 제곱근이 들어갑니다. 전부 근사가 필요한 지점입니다.

여기에 부트스트래핑이라는 부담이 하나 더 있습니다. 암호문에는 잡음이 섞여 있는데, 연산을 거듭할수록 이 잡음이 커져서 어느 선을 넘으면 복호화가 불가능해집니다. 그래서 중간중간 잡음을 털어내야 하고, 이게 전체 연산에서 가장 무겁습니다. 레이어가 수십 겹 쌓인 LLM에서는 이 작업이 계속 반복됩니다.

그래서 냉정하게 정리하면 이렇습니다. 작은 분류 모델은 지금도 됩니다. 중간 규모 모델은 조건을 맞추면 됩니다. 수백억 파라미터 LLM을 암호문 위에서 실시간으로 돌리는 건, 적어도 지금 공개된 것으로는 안 됩니다.

커뮤니티가 매번 반복하는 지적

FHE 발표가 나올 때마다 개발자 커뮤니티에서 튀어나오는 질문이 있습니다. 정리하면 세 갈래입니다.

첫째, “몇 배 느린가"입니다. 구체적인 배수와 하드웨어 조건 없이 “실용적"이라고만 하면 대부분 회의적으로 받아들입니다. FHE 분야는 특정 조건에서 잘 나온 숫자만 골라 보여준 전례가 많았거든요.

둘째, 모델은 여전히 서버에 있다는 점입니다. FHE는 사용자 데이터를 가려줄 뿐, 서버가 어떤 모델로 무슨 처리를 하는지는 사용자가 확인할 방법이 없습니다. 프라이버시의 절반만 해결하는 셈입니다.

셋째, 더 싼 대안과의 비교입니다. 신뢰실행환경(TEE)을 쓰면 오버헤드가 거의 없습니다. 실제로 애플의 프라이빗 클라우드 컴퓨트가 이 계열이죠. 물론 TEE는 하드웨어 제조사를 믿어야 하고 사이드채널 공격 이력도 있습니다. 하지만 “성능 수천 배 손해"와 “인텔이나 AMD를 믿기"를 놓고 보면, 많은 기업이 후자를 택합니다.

여기서 갈리는 게 신뢰 모델입니다. TEE는 하드웨어를 믿는 방식이고 FHE는 수학을 믿는 방식입니다. 후자가 더 강한 보장인 건 맞습니다. 다만 그 대가가 아직 너무 비쌉니다.

그래도 무시하면 안 되는 이유

회의적으로 볼 근거는 충분합니다. 그런데도 이 흐름을 그냥 넘기기 어려운 이유가 있습니다.

FHE는 지금까지 매년 빨라졌습니다. 알고리즘도 개선됐고, 무엇보다 전용 하드웨어 가속기가 개발 중입니다. GPU가 딥러닝을 실험실에서 끌어냈듯, 전용 칩이 FHE에 같은 일을 할 수 있습니다. 구글이 컴파일러 인프라를 미리 깔아두는 것도 그 시점을 노린 포석으로 보입니다.

규제도 변수입니다. 의료와 금융처럼 데이터를 밖으로 못 내보내는 영역에서는 “느리지만 가능한” 것이 “빠르지만 불법인” 것보다 낫습니다. 이런 곳에서는 백 배 느린 추론도 충분히 상품이 됩니다.

마무리

지금 구글이 보여준 건 “클라우드 AI 프라이버시 문제 해결"이 아니라 “특정 조건에서 되기 시작했다"에 가깝습니다. 그렇다고 마케팅 용어로 치부하기에는 컴파일러와 하드웨어 쪽 준비가 꽤 착실합니다. 과장과 사기 사이 어딘가가 아니라, 과장과 진짜 사이 어딘가에 있는 셈이죠.

체크할 지점은 하나로 좁혀집니다. 다음 발표에서 어떤 모델을, 어떤 하드웨어에서, 평문 대비 몇 배로 돌렸는지가 나오는가입니다. 이 세 숫자가 함께 공개되는 순간이 진짜 전환점입니다. 여러분이라면 데이터를 지키기 위해 추론 속도 백 배를 포기할 수 있으신가요? 그 답이 갈리는 지점이 바로 이 기술의 시장 크기일 겁니다.