4비트에서는 살아남고 1비트에서 무너졌다: Qwen3.8 27B의 압축 절벽

거대언어모델을 얼마나 작게 줄일 수 있느냐를 두고 경쟁이 뜨겁습니다. 같은 모델을 노트북과 스마트폰에서도 돌릴 수 있으면 비용을 아끼고 개인정보 보호 부담도 덜 수 있기 때문입니다. Qwen3.8 27B의 4비트와 1비트 결과를 비교해 보면, 압축에도 넘지 말아야 할 선이 있다는 사실이 드러납니다.

27B 모델, 13.5GB까지 줄어들다

Qwen3.8 27B는 이름에서 알 수 있듯 약 270억 개의 파라미터를 가진 모델입니다. 파라미터는 모델이 학습하면서 얻은 지식을 저장하는 작은 숫자라고 생각하면 됩니다.

각 파라미터를 16비트로 저장하려면 가중치에만 약 54GB가 필요합니다. 이를 4비트로 양자화하면 이론적으로 약 13.5GB까지 줄어듭니다. 1비트로 낮추면 약 3.4GB가 됩니다.

물론 실제로 실행할 때는 메모리가 더 필요합니다. 양자화 구간마다 쓰이는 스케일 값과 대화 문맥을 담는 KV 캐시도 저장해야 하기 때문입니다. 그래도 27B 모델이 고가의 서버를 벗어나 일반 PC에서도 돌아갈 수 있다는 점은 큰 차이입니다.

여기까지만 보면 1비트가 훨씬 좋아 보입니다. 4비트 모델보다 다시 4배 작아지기 때문입니다. 하지만 모델의 지식도 함께 압축된다는 게 문제입니다.

4비트는 왜 버틸 수 있었을까

4비트는 하나의 가중치를 16개 단계로 표현합니다. 원래 값을 가장 가까운 단계에 맞춰 반올림하는 방식입니다.

사진의 색상 수를 조금 줄이는 것과 비슷합니다. 원본과 나란히 놓고 보면 차이가 드러날 수 있지만, 주요 형태와 경계는 대부분 그대로 남습니다.

LLM의 가중치에서는 모든 자릿수가 똑같이 중요한 게 아닙니다. 비슷한 값끼리 알맞게 묶고 이상치만 조심스럽게 처리하면 4비트에서도 상당한 정보를 보존할 수 있습니다. 최근 로컬 LLM 환경에서 4비트가 사실상 기본 선택지로 자리 잡은 것도 이 때문입니다.

모델 크기도 중요합니다. 27B처럼 파라미터가 많은 모델은 일부 정보가 손실되더라도 다른 파라미터가 그 빈틈을 메울 여지가 있습니다. 양자화 과정이 잘 설계됐다면 짧은 대화나 요약에서는 원본과의 차이를 알아채기 어려울 수도 있습니다.

1비트에서 시작되는 품질 붕괴

1비트부터는 얘기가 달라집니다. 각 가중치가 가질 수 있는 상태가 사실상 2개뿐입니다. 4비트의 16단계가 흑백 두 단계로 줄어드는 셈입니다.

이때부터 오차는 단순한 반올림 수준을 넘어섭니다. 미묘하게 다른 가중치들이 같은 값으로 합쳐집니다. 그 결과 모델이 문맥의 뉘앙스를 구분하거나 여러 단계의 추론을 이어가는 능력도 흔들릴 수 있습니다.

특히 긴 문장을 만들거나 코드를 작성하고 수학 문제를 풀 때 손상이 두드러집니다. 첫 문장만 보면 그럴듯하지만, 글이 이어지면서 논리가 어긋나기도 합니다. 정답과 비슷해 보이는 표현을 내놓으면서도 핵심 조건을 놓치는 경우도 늘어납니다.

이를 압축의 절벽이라고 합니다. 비트 수는 조금씩 줄였을 뿐인데 품질은 완만하게 떨어지지 않습니다. 일정 지점을 넘는 순간 모델의 내부 표현력이 급격히 무너집니다.

1비트 모델과 1비트 양자화는 다릅니다

여기서 한 가지는 꼭 구분해야 합니다. 처음부터 초저정밀 연산을 전제로 학습한 모델과 이미 학습이 끝난 모델을 나중에 1비트로 줄인 모델은 전혀 다릅니다.

후자를 흔히 사후 학습 양자화라고 부릅니다. 완성된 지도를 두 가지 색만 써서 다시 그리는 것과 같습니다. 원본에 있던 고도와 도로의 미세한 차이는 사라질 수밖에 없습니다.

반면 처음부터 1비트나 삼진 가중치 구조로 학습하면 모델이 제한된 표현 방식에 적응할 수 있습니다. 학습하면서 중요한 정보를 어디에 배치할지 스스로 조정할 수 있기 때문입니다. 따라서 “1비트는 쓸 수 없다”보다 “일반 정밀도로 학습된 27B 모델을 사후에 1비트로 줄이는 방식에는 한계가 크다”라고 해석하는 편이 더 정확합니다.

하드웨어 지원도 따져봐야 합니다. 파일이 4배 작아졌다고 해서 추론 속도까지 반드시 4배 빨라지는 것은 아닙니다. GPU와 CPU가 해당 비트 연산을 효율적으로 처리하지 못하면 변환 비용이 늘어 기대한 성능이 나오지 않을 수 있습니다.

숫자보다 먼저 확인해야 할 것

이번 주제와 관련해 2026년 8월 10일부터 9월 9일까지 확인된 최근 커뮤니티 게시물은 0건이었습니다. 원본 벤치마크의 세부 점수와 반복 실험 자료도 제한적입니다. 따라서 특정 점수 차이를 확정된 결론으로 받아들이기는 어렵습니다.

양자화 결과를 살펴볼 때는 모델 파일 크기만 비교하면 안 됩니다. 같은 프롬프트와 생성 설정을 사용했는지부터 확인해야 합니다. 평가 항목도 상식 문제뿐 아니라 코딩, 수학, 긴 문맥, 환각 발생률까지 포함해야 합니다.

실제로 느껴지는 품질도 중요합니다. 객관식 정답률이 비슷하더라도 답변이 반복되거나 문장이 도중에 무너질 수 있습니다. 반대로 짧은 분류 작업이라면 1비트 모델도 충분히 쓸 만할 수 있습니다.

Qwen3.8 27B 사례에서 확인할 수 있는 점은 분명합니다. 4비트는 비용과 품질 사이에서 현실적으로 선택할 만한 타협점입니다. 반면 1비트는 모델의 학습 방식과 하드웨어까지 함께 바꿔야 하는 별개의 문제입니다. 여러분이라면 저장공간을 4배 더 줄이는 대신 어느 정도의 답변 품질까지 포기할 수 있으신가요?