프런티어 모델이 GPU 한 장에 들어갔다: DeepSeek V4 Flash가 바꾸는 계산법

AI 업계에서 제일 오래 통한 상식이 “최신 모델을 돌리려면 GPU가 엄청나게 많이 필요하다"였습니다. 그런데 요즘 개발자 커뮤니티에 같은 질문이 계속 올라옵니다. 프런티어급 모델이 가속기 한 장에 올라간다면, 지금까지 짜둔 인프라 계산은 다 갈아엎어야 하는 것 아니냐고요.

미리 밝혀둘 게 하나 있습니다. 이 주제는 최근 30일 커뮤니티 데이터에 잡힌 논의가 거의 없었습니다. DeepSeek V4 Flash라는 모델명을 두고 오간 검증된 반응 스레드를 찾지 못했습니다. 그래서 아래 내용은 특정 모델의 스펙 주장을 사실로 깔고 가지 않습니다. 단일 GPU 프런티어 추론이라는 흐름이 왜 지금 와서 진지하게 다뤄지는지, 그쪽을 따져보는 글입니다.

왜 하필 MI300X인가

단일 가속기 추론 얘기에 AMD MI300X가 자주 끌려 나오는 이유는 메모리 하나입니다. MI300X는 192GB HBM3를 달았습니다. 같은 시기 엔비디아 H100이 80GB였으니 두 배가 넘습니다.

추론에서 메모리 용량이 갈림길인 이유는 간단합니다. 모델 가중치가 통째로 한 장에 들어가느냐 마느냐가 여기서 결정됩니다. 안 들어가면 여러 GPU에 쪼개 올려야 하고, 그때부터 GPU끼리 데이터를 계속 주고받습니다. 이 통신 비용이 생각보다 큽니다. 한 장에 다 들어가면 그게 통째로 없어집니다.

그래서 “메모리가 큰 가속기 한 장"은 장비 대수만 줄이는 얘기가 아닙니다. 시스템 구조가 같이 단순해집니다.

크지만 가벼운 모델을 만드는 MoE

이걸 가능하게 하는 게 MoE, 전문가 혼합(Mixture of Experts) 구조입니다.

DeepSeek가 V3와 R1으로 주목받은 이유도 여기 있습니다. 총 파라미터는 6710억 개인데 토큰 하나를 처리할 때 실제로 켜지는 건 370억 개뿐이었습니다. 직원 671명짜리 회사에서 안건마다 담당자 37명만 회의실에 들어간다고 보면 됩니다. 나머지는 자리에 앉아 있을 뿐 계산에는 끼지 않습니다.

덕분에 연산량과 메모리 요구량이 따로 놉니다. 파라미터 수가 많아도 계산 부담은 활성 파라미터가 정합니다. 여기에 저정밀도 양자화까지 얹으면 가중치 저장 공간이 다시 절반 아래로 내려갑니다. FP8이나 4비트로 압축하면 예전 같으면 8장 필요했을 모델이 한 장에 올라갑니다.

“Flash"라는 이름이 붙은 경량 파생 모델이 노리는 지점이 여깁니다. 성능은 최상위권에 가깝게 붙들어두고 활성 파라미터를 줄여서, 가속기 한 장 메모리에 들어가는 크기로 맞추는 겁니다.

비용 계산이 실제로 어떻게 바뀌나

숫자로 보면 체감이 확 옵니다.

지금까지는 대형 모델 하나 서빙하려면 8장짜리 노드가 기본이었습니다. 노드 한 대에 수억 원, 여기에 고속 인터커넥트와 전력과 냉각이 따라붙습니다. 같은 모델이 한 장에서 돌아가면 하드웨어 비용은 산술적으로 8분의 1입니다. 통신 오버헤드가 없어지면서 처리량 효율까지 올라가니 토큰당 단가는 더 내려갈 수도 있습니다.

정작 큰 변화는 진입 장벽 쪽입니다. 프런티어 모델을 자체 호스팅하려면 최소 수억 원짜리 클러스터를 사고 그걸 관리할 인프라 엔지니어를 두어야 했습니다. 대기업이나 돈 넉넉한 스타트업 아니면 엄두를 못 냈습니다. 한 장으로 내려오면 서버 한 대 살 예산이 있는 중소 팀도 후보가 됩니다.

의료 기록이나 금융 데이터, 사내 기밀처럼 외부 API로 넘기기 곤란한 데이터를 다루는 조직에는 특히 그렇습니다. 데이터를 밖으로 안 빼고 최신 모델을 쓸 수 있느냐 없느냐가 걸린 문제니까요.

엔비디아 독점은 정말 흔들리나

여기서는 좀 조심해야 합니다. 하드웨어 스펙과 실제로 써보는 경험은 다른 얘기입니다.

AMD의 발목을 오래 잡은 건 성능이 아니라 소프트웨어였습니다. 엔비디아 CUDA 생태계는 십수 년간 쌓인 라이브러리와 커널, 예제 코드, 스택오버플로 답변을 다 합친 것입니다. AMD의 ROCm도 최근 몇 년 사이 많이 좋아졌고 vLLM이나 SGLang 같은 주요 추론 엔진을 지원합니다. 그래도 “그냥 돌아간다"는 감각에서는 아직 격차가 있다고 말하는 엔지니어가 많습니다.

여기서 변수는 이게 학습이 아니라 추론이라는 점입니다. 추론은 학습보다 필요한 연산 커널 종류가 적고 패턴도 뻔합니다. AMD가 파고들기 그만큼 쉬운 영역입니다. 요즘 대안 가속기 논의가 죄다 추론 쪽에 몰리는 것도 그래서입니다. 학습 시장은 아직 엔비디아 쪽 기울기가 훨씬 가파릅니다.

“엔비디아 독점 붕괴"보다는 “추론 시장에서 선택지가 생겼다” 쪽이 지금 상황에 더 가까운 말입니다.

한 장으로 되는 것과 안 되는 것

단일 GPU 추론에는 아직 걸리는 게 몇 가지 있습니다.

동시 사용자 수가 먼저 걸립니다. 모델 가중치가 메모리에 들어가는 것과 수백 명이 동시에 긴 대화를 주고받는 걸 버티는 건 다른 문제입니다. 컨텍스트가 길어질수록 KV 캐시가 메모리를 잡아먹는데 그 양이 상당합니다. 벤치마크에서 한 장으로 돌았다고 서비스 트래픽까지 한 장으로 받는다는 뜻은 아닙니다.

벤치마크와 실전 사이도 벌어져 있습니다. “프런티어급"이라는 말은 대개 공개 벤치마크 점수 기준입니다. 경량화한 모델이 실제 업무에서 원본만 한 품질을 내는지는 도메인마다 갈립니다. 긴 추론 체인이나 복잡한 코드 작업에서 특히 차이가 납니다.

검증도 남아 있습니다. 새 모델의 성능 주장은 초반에 자체 발표 자료에 기대는 경우가 대부분입니다. 독립 평가와 실사용 후기가 몇 주 쌓이고 나서야 그림이 잡힙니다. 지금 이 주제로 오가는 커뮤니티 논의가 적다는 건 아직 그 단계까지 못 갔다는 신호로 읽는 편이 맞습니다.

그래서 지금 뭘 하면 되나

당장 인프라를 갈아엎을 일은 아닙니다. 다만 계획 짜는 방식은 손봐둘 만합니다.

1~2년 안에 자체 호스팅을 검토할 생각이라면 지금부터 견적을 8장 노드로 잡아둘 이유는 줄어들고 있습니다. 그보다 실제 워크로드의 동시 사용자 수와 평균 컨텍스트 길이를 먼저 재보는 게 낫습니다. 한 장으로 되느냐 안 되느냐는 모델 크기가 아니라 이 두 숫자가 정하니까요.

지난 2년간 AI 인프라 얘기는 “얼마나 더 큰 클러스터를 쌓을 것인가"였습니다. 지금은 “얼마나 작게 줄일 수 있는가” 쪽으로 무게가 옮겨가고 있습니다. 문턱이 낮아진다는 점에서는 반가운 변화입니다. 다만 아직은 스펙 발표가 앞서고 실사용 검증이 뒤따라오는 단계입니다. 프런티어 모델을 직접 돌릴지 API를 쓸지는 조직마다 답이 다를 텐데, 결국 다루는 데이터가 얼마나 민감한가에 걸려 있습니다.