13년 된 서버 CPU로 260억 파라미터 AI를 돌렸습니다 — GPU는 정말 필수일까요

“AI 돌리려면 그래픽카드부터 사야죠.” 요즘 로컬 LLM에 관심을 보이면 열에 아홉은 이런 대답이 돌아옵니다. 그런데 정말 그럴까요. 13년 묵은 서버 CPU 한 대로 260억 파라미터 모델을 돌려보겠다는 사람들이 조용히 늘고 있습니다. 오늘은 이 도발적인 실험이 무엇을 말해주는지 짚어보겠습니다.

먼저 솔직하게 말씀드리겠습니다. 이번 주제는 최근 30일 사이 커뮤니티 논의가 거의 없었습니다. 그래서 지금 활활 타오르는 화제라기보다, 조용히 검증되고 있는 흐름에 가깝습니다. 다만 그 흐름의 방향이 흥미로워서 정리해봅니다.

GPU가 필수라는 믿음은 어디서 왔을까요

AI 하면 GPU라는 공식은 학습(training)에서 나왔습니다. 모델을 처음부터 만드는 작업은 수천 개의 행렬 곱셈을 동시에 처리해야 합니다. 이 병렬 연산에서 GPU는 CPU를 압도합니다. 수백 배 차이가 나기도 합니다.

문제는 이 공식이 추론(inference)에도 그대로 적용된다고 믿어버린 데 있습니다. 추론은 이미 다 만들어진 모델에 질문을 던지고 답을 받는 단계입니다. 학습보다 훨씬 가볍습니다. 그런데도 우리는 “AI=GPU"라는 등식을 통째로 삼켜버렸습니다.

여기서 진짜 병목은 연산이 아니라 메모리 대역폭입니다. 모델이 답 한 글자를 뱉을 때마다 260억 개의 숫자를 메모리에서 읽어와야 합니다. 계산 자체는 별것 아닌데, 이 방대한 데이터를 얼마나 빨리 실어 나르느냐가 속도를 결정합니다. 그래서 오래된 CPU라도 메모리만 넉넉하면 “느리게나마” 돌아갑니다.

Gemma 4 26B, 왜 하필 이 모델일까요

구글의 Gemma 4는 오픈웨이트 모델입니다. 가중치를 내려받아 내 컴퓨터에서 자유롭게 돌릴 수 있다는 뜻입니다. 그중 26B, 즉 260억 파라미터 버전은 “작지도 크지도 않은” 절묘한 위치에 있습니다.

70B급 대형 모델은 성능은 좋지만 웬만한 CPU로는 감당이 안 됩니다. 반대로 7B급 소형 모델은 가볍게 돌아가지만 답변 품질에서 아쉬움이 남습니다. 26B는 그 사이입니다. 진지한 작업에 쓸 만한 지능을 갖췄으면서, 양자화(quantization)를 거치면 일반 메모리에 욱여넣을 수 있는 크기입니다.

양자화는 쉽게 말해 다이어트입니다. 원래 숫자 하나를 16비트로 저장하던 것을 4비트로 줄입니다. 정밀도는 조금 떨어지지만 용량이 확 줄어듭니다. 26B 모델도 4비트로 압축하면 16GB 안팎으로 내려갑니다. 10년 넘은 서버라도 램 32GB, 64GB는 흔하니 충분히 올라갑니다.

실제로 얼마나 쓸 만할까요

기대치를 정확히 잡아야 합니다. 유튜브에서 Gemma 4 로컬 구동을 다룬 영상들을 보면, 대부분 최신 맥북이나 GPU를 얹은 PC를 씁니다. 한 영상은 조회수 1만3천 회를 넘기며 “API 키 없이 맥북과 PC에서 무료로 Claude Code를 돌렸다"는 실험을 소개하기도 했습니다. 또 다른 영상은 32GB 혼합 VRAM 듀얼 GPU 환경에서 Gemma 4를 다뤘습니다. 즉, 대세는 여전히 가속기를 쓰는 쪽입니다.

그렇다면 순수 CPU, 그것도 낡은 서버 CPU는 어떨까요. 결론부터 말하면 됩니다. 다만 느립니다. 초당 몇 토큰 수준을 각오해야 합니다. 사람이 타자 치는 속도보다 느릴 수도 있습니다. 실시간 대화용으로는 답답합니다.

하지만 발상을 바꾸면 이야기가 달라집니다. 밤새 문서 100개를 요약하는 배치 작업이라면요. 속도가 아니라 처리량이 중요한 일이라면요. 잠든 사이 CPU가 묵묵히 일하게 두면 됩니다. 이럴 때는 낡은 서버가 오히려 든든한 일꾼이 됩니다.

이 실험이 진짜 말하려는 것

핵심은 “GPU 없이도 된다"는 자랑이 아닙니다. AI 접근성의 바닥이 어디까지 내려왔는지를 보여주는 겁니다.

몇 년 전만 해도 쓸 만한 언어 모델을 돌리려면 최소 수백만 원짜리 장비가 필요했습니다. 지금은 창고에 처박아둔 구형 서버, 중고로 몇만 원에 파는 낡은 워크스테이션으로도 그럴싸한 지능을 손에 넣을 수 있습니다. 클라우드 API에 매달 돈을 내지 않고, 내 데이터를 밖으로 내보내지 않고 말입니다.

물론 트레이드오프는 분명합니다. 속도, 편의성, 최신 성능을 원하면 여전히 지갑을 열어야 합니다. 하지만 “일단 돌아가기만 하면 되는” 수많은 용도에서, GPU는 이제 필수가 아니라 선택이 되었습니다.

정리하면 이렇습니다. “AI엔 비싼 GPU가 필수"라는 말은 절반만 맞습니다. 만드는 데는 맞지만, 쓰는 데는 꼭 그렇지 않습니다. 여러분 집이나 회사에 잠자고 있는 낡은 컴퓨터가 있다면, 한 번쯤 물어볼 만합니다. 저 녀석에게 26B짜리 두뇌를 얹어주면 무슨 일을 시킬 수 있을까요.