1200만 토큰 컨텍스트의 충격: Subquadratic이 트랜스포머 시대를 끝낼까

요즘 AI 업계에서 가장 뜨겁게 회자되는 이름이 있습니다. 바로 Subquadratic(SubQ)인데요. “1200만 토큰 컨텍스트”, “기존보다 1000배 빠른 추론"이라는 숫자를 들고 나와 Claude, ChatGPT, Gemini를 한 번에 갈아치우겠다고 선언한 신생 AI 모델입니다. 진짜 게임 체인저일까요, 아니면 또 다른 거품일까요.

트랜스포머의 한계, 왜 ‘이차 복잡도’가 문제였나

지금까지 우리가 쓰는 거의 모든 LLM은 트랜스포머(Transformer) 아키텍처 위에서 돌아갑니다. 핵심은 어텐션(Attention)이라는 메커니즘인데요. 문장 속 모든 토큰이 다른 모든 토큰과 관계를 계산합니다.

문제는 여기서 발생합니다. 토큰이 두 배가 되면 계산량은 네 배가 되거든요. 이걸 이차 복잡도(quadratic complexity)라고 부릅니다. 컨텍스트가 길어질수록 비용과 시간은 기하급수적으로 늘어납니다.

그래서 GPT-4도, Claude도 컨텍스트 윈도우를 늘리는 데 한계가 있었습니다. 100만 토큰을 넘어가면 메모리와 GPU가 비명을 지릅니다.

Subquadratic이 들고 온 1200만 토큰

SubQ는 이름 그대로 이차 미만(subquadratic)의 복잡도를 가진 새로운 아키텍처를 표방합니다. 토큰 수가 늘어나도 계산량이 폭발적으로 증가하지 않는다는 뜻인데요.

이 접근 자체는 사실 새로운 게 아닙니다. Mamba, RWKV, Hyena 같은 아키텍처들이 비슷한 방향을 시도해 왔거든요. 하지만 SubQ는 1200만 토큰이라는 숫자를 실제 제품 단위로 들고 나왔다는 점에서 차원이 다릅니다.

1200만 토큰이면 어느 정도일까요. 영문 기준으로 책 100권 분량을 한 번에 컨텍스트로 넣을 수 있습니다. 대형 코드베이스 전체를 통째로 읽히는 게 가능해진다는 얘기죠.

“1000배 빠르다"는 주장, 그리고 의심의 시선

유튜버 Krittin Kalra가 올린 “1,000x Faster AI or the Next Theranos?"라는 영상 제목이 지금 분위기를 잘 보여줍니다. 1000배 빠르다는 주장이 사실이라면 혁명이지만, 그렇지 못하다면 제2의 테라노스 사태가 될 수 있다는 우려인데요.

실제로 신생 AI 스타트업이 벤치마크 숫자를 부풀리는 사례는 꾸준히 있어왔습니다. 학계에서도 SubQ의 기술 백서가 정식 동료 평가를 거쳤는지, 재현 가능한 실험 결과가 공개되었는지에 대한 의문이 제기되는 분위기입니다.

Steve Mojica의 모닝 브리핑 영상에서도 “Breakthrough or AI…"라는 식으로 물음표를 달았습니다. 업계 전반이 호기심 반, 의심 반으로 지켜보고 있다는 뜻이죠.

진짜 핵심은 ‘컨텍스트의 의미’가 바뀐다는 것

만약 SubQ의 주장이 절반만 사실이어도 시장 판도는 바뀝니다. 지금까지 우리는 RAG(검색 증강 생성)나 청킹(chunking) 같은 우회 기법으로 긴 문서를 다뤘습니다. 컨텍스트가 짧으니까 잘게 잘라서 검색해 넣었던 거죠.

1200만 토큰이 진짜라면 이런 우회로가 상당 부분 무의미해집니다. 회사 전체 위키, 전체 코드베이스, 전 직원 이메일을 통째로 컨텍스트에 넣고 질문하는 시대가 열리는 셈인데요.

다만 컨텍스트 길이가 길다고 모델이 그 정보를 잘 활용한다는 보장은 없습니다. ‘Lost in the middle’ 현상이라고, 긴 컨텍스트의 중간 부분 정보를 모델이 흘려버리는 문제는 여전한 숙제거든요. SubQ가 이 부분까지 해결했는지가 관건입니다.

트랜스포머 이후의 시대를 준비하며

분명한 건 트랜스포머가 영원하지 않다는 사실입니다. 2017년 ‘Attention Is All You Need’ 논문 이후 거의 10년간 AI 패러다임을 지배해 왔지만, 이차 복잡도라는 근본적 한계는 점점 더 명확해지고 있습니다.

SubQ가 진짜 그 다음 장을 여는 주인공일지, 아니면 한 번 반짝하고 사라질 마케팅 사례일지는 아직 모릅니다. 하지만 “트랜스포머 이후”라는 화두 자체가 이제 본격적으로 테이블 위에 올라왔다는 것만은 분명합니다.

여러분은 어떻게 보시나요. 1200만 토큰 컨텍스트가 정말로 우리의 일하는 방식을 바꿀 수 있을까요, 아니면 결국 또 한 번의 화려한 데모로 끝날까요. 다음 몇 달간 공개될 SubQ의 실제 벤치마크와 외부 검증 결과를 함께 지켜봐야 할 것 같습니다.