LLM은 인터넷을 압축한 zip 파일일까? '압축이 곧 지능'이라는 오래된 떡밥

“챗GPT는 그냥 인터넷을 압축해 놓은 흐릿한 JPEG일 뿐이다.” 2023년에 SF 작가 테드 창이 뉴요커에 쓴 이 문장은 지금도 AI 회의론자들의 인용 1순위입니다. 그런데 재미있는 건, 정반대 진영에 있는 사람들도 똑같은 말을 한다는 겁니다. “압축이 곧 지능이다"라고요. 같은 사실을 한쪽은 조롱의 근거로, 다른 쪽은 찬양의 근거로 씁니다. 이 기묘한 상황을 좀 풀어보려고 합니다.

예측과 압축은 사실 같은 말입니다

논쟁의 전제부터 짚고 갑시다. 압축과 예측이 같다는 건 비유가 아니라 수학적 등가입니다.

원리는 이렇습니다. 어떤 데이터를 짧게 저장하려면 자주 나오는 패턴에 짧은 코드를 주고 드물게 나오는 패턴에 긴 코드를 주면 됩니다. 그런데 “자주 나온다"를 안다는 건 곧 “다음에 뭐가 올지 안다"는 뜻이죠. 예측을 잘할수록 압축도 잘합니다.

산술부호화(arithmetic coding)는 이 관계를 가장 노골적으로 보여주는 알고리즘입니다. 다음 글자가 나올 확률이 p라면, 그 글자를 저장하는 데 필요한 비트 수는 정확히 -log2(p)입니다. 확률을 0.5로 봤으면 1비트, 0.25로 봤으면 2비트, 0.99로 봤으면 약 0.014비트. 예측 확률이 그대로 파일 크기로 환산되는 겁니다.

여기서 소름 돋는 부분이 나옵니다. LLM이 하는 일이 정확히 이겁니다. 다음 토큰의 확률 분포를 뱉는 게 전부거든요. 그러니까 LLM을 산술부호화의 확률 모델 자리에 그대로 꽂아 넣을 수 있습니다. 별도 개조 없이, 있는 그대로요.

실제로 해보면 gzip이 초라해집니다

이걸 직접 해본 글이 개발자 커뮤니티에 심심하면 올라옵니다. 코드가 생각보다 짧아서 그렇습니다. 파이썬 100줄 안쪽이면 돌아가는 물건이 나옵니다.

결과는 꽤 극적입니다. gzip은 영어 텍스트를 대략 3분의 1 크기로 줄입니다. 압축률 좋다는 최신 알고리즘도 4분의 1 언저리에서 멈춥니다. 그런데 제대로 된 언어모델을 확률 모델로 쓰면 10분의 1 이하까지 내려갑니다. 딥마인드가 2023년에 발표한 논문에서는 Chinchilla 70B 모델로 텍스트를 원본의 8.3%까지 줄였습니다. 같은 논문에서 더 놀라운 건 이미지 쪽이었는데요, 텍스트만 학습한 모델이 이미지를 PNG보다 잘 압축했습니다. 43.4% 대 58.5%. 오디오도 FLAC를 이겼고요.

왜 이렇게 차이가 날까요. gzip은 “아까 나온 문자열이 또 나오면 그 위치를 가리키자” 수준의 규칙으로 돌아갑니다. 반면 언어모델은 “이 문장은 계약서 스타일이고, 앞에서 갑을 정의했으니, 다음에 올 단어는 ‘을’일 확률이 높다"는 식으로 따집니다. 문법, 상식, 문서 구조, 세상 물정이 전부 압축률로 환산되는 거죠.

그래서 ‘압축이 지능’이라는 진영의 논리

압축주의자들의 논리가 여기서 나옵니다. 대표 주자는 DeepMind의 마커스 허터입니다. 2006년부터 허터 프라이즈라는 상금 대회를 열어 왔습니다. 위키피디아 1GB를 누가 더 작게 압축하느냐를 겨루는 대회인데, 상금 규모가 기존 기록 대비 개선율에 비례합니다. 허터의 주장은 명확합니다. “위키피디아를 더 잘 압축하려면 위키피디아 내용을 더 잘 이해해야 한다. 그러니 압축 대회가 곧 지능 대회다.”

일리 있는 말입니다. 텍스트를 극한까지 압축하려면 결국 “이 문장이 무슨 뜻인지"를 알아야 하니까요. 솔로모노프 귀납이니 콜모고로프 복잡도니 하는 이론적 뒷받침도 탄탄합니다. “가장 짧은 설명이 가장 좋은 이론"이라는, 오컴의 면도날을 수학으로 옮긴 이야기죠.

OpenAI의 일리야 수츠케버도 비슷한 얘기를 여러 번 했습니다. 다음 단어를 잘 예측하려면 그 단어를 만들어낸 세계를 이해할 수밖에 없다는 겁니다. 추리소설의 마지막 문장 “범인은 바로 ○○○였다"를 맞히려면 소설 전체를 이해해야지 통계만으로는 안 된다는 거죠.

반대 진영이 짚는 구멍

반박도 만만치 않습니다. 자주 나오는 게 셋 있습니다.

첫째, 모델 크기를 빼먹었다는 지적입니다. 70B 모델로 1GB를 80MB로 줄였다고 자랑하는데, 그 모델 자체가 140GB입니다. 압축 파일을 풀려면 모델도 같이 보내야 하죠. 총 용량으로 따지면 gzip한테도 집니다. 물론 딥마인드 논문도 이걸 알고 있고 “여러 파일을 압축하면 모델 비용이 분산된다"는 반론이 있긴 합니다. 하지만 압축의 정통 규칙인 “디코더 포함 크기"로 채점하면 이야기가 달라지는 건 맞습니다.

둘째, 압축은 필요조건이지 충분조건이 아니다는 반론입니다. 지능이 있으면 압축을 잘하는 건 맞습니다. 하지만 압축을 잘한다고 지능이 있다고 할 수 있느냐는 다른 문제입니다. 계산기는 곱셈을 사람보다 잘하지만 우리는 계산기를 지능이라 부르지 않죠. 압축률이라는 스칼라 하나로 지능이라는 다차원 개념을 재려는 건 무리라는 겁니다.

셋째, 손실 압축과 무손실 압축을 섞어 쓴다는 문제입니다. 테드 창이 말한 “흐릿한 JPEG"는 손실 압축 얘기입니다. 원본을 정확히 복원할 수 없고 그럴싸하게 채워 넣는다는, 환각(hallucination) 비판이죠. 반면 산술부호화 실습은 무손실 압축입니다. 원본이 100% 복원됩니다. 이 둘은 완전히 다른 얘기인데 논쟁에서 자주 뒤섞입니다.

압축기는 맞습니다, 문제는 그다음

제 생각엔 이 논쟁이 “LLM이 압축기냐 지능이냐"로 물어서 답이 안 나오는 것 같습니다. 압축기인 건 사실입니다. 수학으로 증명되는 사실이고요. 문제는 거기서 “그러니까 별거 아니다"를 끌어낼 수 있느냐죠.

사람의 뇌도 어떤 의미에서는 압축기입니다. 우리는 겪은 모든 순간을 저장하지 않습니다. 패턴을 뽑아내고 규칙으로 요약해 두었다가 필요할 때 재구성하죠. 목격자 증언이 자주 틀리는 이유도 이겁니다. 기억은 재생이 아니라 재구성이니까요. 그렇다고 “인간의 지능은 그냥 압축일 뿐"이라고 결론 내리진 않습니다.

압축이 지능의 전부는 아니지만, 지능에 압축이 필요한 것도 사실입니다. 세상의 규칙성을 찾아내 짧은 형태로 저장하는 능력, 그걸 지능이라 부르지 않을 이유도 딱히 없습니다.

한 가지 흥미로운 건 이 논쟁의 열기가 예전만 못하다는 겁니다. 2023-2024년에는 관련 논문과 토론이 쏟아졌는데 요즘은 확실히 조용합니다. 이유가 있을 겁니다. 논쟁이 정리돼서가 아니라, 이제 LLM이 도구를 쓰고 코드를 실행하고 며칠짜리 작업을 이어가는 시대가 됐기 때문입니다. “이게 진짜 지능인가"라는 질문이 실무에서 별 쓸모가 없어진 거죠.

마무리

압축과 예측이 수학적으로 같다는 사실은 변하지 않습니다. LLM이 gzip을 압도하는 압축기라는 것도 사실이고요. 다만 그 사실이 “LLM은 대단하다"의 증거인지 “LLM은 별거 아니다"의 증거인지는 각자가 지능을 무엇이라 정의하느냐에 달렸습니다.

궁금하면 직접 해보시길 권합니다. 작은 로컬 모델 하나와 산술부호화 구현이면 됩니다. 자기가 쓴 글을 그 모델로 압축해 보면 압축률이 곧 “이 모델이 내 글을 얼마나 예상했는가"의 점수라는 걸 알게 됩니다. 잘 압축되는 글은 뻔한 글이고, 잘 안 되는 글은 새로운 글입니다. 여러분 글은 몇 비트짜리인가요?