OpenAI가 엔비디아 대신 세레브라스를 고른 이유: '초당 토큰'이 제품이 되는 순간

AI 인프라 이야기에서 지난 3년간 변하지 않은 상수가 하나 있었습니다. “결국 엔비디아"라는 말이었죠. 그런데 OpenAI가 최신 모델의 초고속 추론 옵션을 엔비디아가 아닌 세레브라스(Cerebras)의 웨이퍼 스케일 칩 위에 올렸다는 소식이 나오면서, 그 상수에 처음으로 금이 갔습니다. 칩 하나 바꾼 이야기로 보이지만, 저는 AI 제품의 정의가 바뀌는 신호로 읽었습니다.

미리 털어놓자면, 이 주제는 아직 커뮤니티 논의가 별로 쌓이지 않았습니다. 최근 30일 기준으로 레딧에서 유의미한 스레드를 찾지 못했습니다. 그래서 이 글은 현장의 갑론을박을 중계하기보다 구조를 뜯어보는 쪽입니다. 숫자를 인용할 때도 어디까지가 확인된 사실이고 어디부터가 제 해석인지 갈라서 적겠습니다.

웨이퍼 스케일이라는 무모한 아이디어

세레브라스가 하는 일은 한 문장이면 됩니다. 실리콘 웨이퍼 한 장을 통째로 칩 하나로 씁니다.

보통 반도체 공장은 지름 30cm짜리 둥근 웨이퍼 위에 칩을 수십에서 수백 개 찍어낸 뒤, 잘라서 하나씩 포장합니다. 불량이 나면 그 칩만 버리면 되니까요. 세레브라스는 이 상식을 거부했습니다. 자르지 않고 웨이퍼 전체를 한 덩어리 프로세서로 씁니다. 손바닥보다 큰 정사각형 칩 한 장에 코어 수십만 개가 들어갑니다.

왜 이런 무리를 할까요. 답은 메모리 대역폭입니다. LLM이 토큰 하나를 뱉을 때마다 벌어지는 일은 의외로 단순합니다. 수천억 개 파라미터를 메모리에서 읽어와 곱하고 더합니다. GPU는 연산 능력이 아무리 좋아도 이 파라미터를 HBM이라는 외부 메모리에서 계속 퍼와야 합니다. 도로가 아무리 넓어도 톨게이트에서 막히는 구조입니다.

GPU의 메모리 대역폭은 세대를 거치며 초당 수 테라바이트 수준까지 올라왔습니다. 세레브라스는 모델 가중치를 칩 위 SRAM에 통째로 올려두고 씁니다. 이 온칩 메모리 대역폭은 초당 수십 페타바이트 급이라 GPU의 HBM과는 자릿수가 다릅니다. 밖에서 퍼오는 게 아니라 애초에 옆에 두고 쓰니까요.

이 차이가 곧 속도입니다. 세레브라스는 그동안 오픈 웨이트 모델에서 초당 1,0002,500 토큰대 생성 속도를 시연해 왔습니다. 일반적인 GPU 서빙이 초당 50100 토큰 남짓인 것과 비교하면 체감이 다릅니다. 사람이 눈으로 읽는 속도는 이미 한참 넘어섰습니다.

그런데 사람보다 빠른 속도가 왜 필요할까

여기서 당연한 반문이 나옵니다. 어차피 사람은 초당 10 토큰도 못 읽는데, 1,000 토큰이 무슨 의미냐는 거죠.

챗봇 시대라면 맞는 말입니다. 에이전트 시대에는 계산이 완전히 달라집니다.

에이전트는 답을 한 번에 내놓지 않습니다. 생각합니다. 도구를 부릅니다. 결과를 보고 다시 생각합니다. 코딩 에이전트가 버그 하나 잡는 데 모델 호출을 20~50번 하는 건 흔한 일입니다. 여기에 요즘 모델들이 쓰는 추론 토큰까지 더하면, 사용자에게 보이지 않는 곳에서 생성되는 토큰이 최종 출력의 수십 배에 달합니다.

숫자로 보면 이렇습니다. 한 작업에 총 5만 토큰을 생성한다고 칩시다. 초당 100 토큰이면 500초, 8분 넘게 걸립니다. 초당 2,000 토큰이면 25초입니다. 커피 마시고 오는 작업과 화면 보면서 기다리는 작업의 차이인데, 여기서 바뀌는 건 속도만이 아닙니다. 사용자가 그 도구를 쓰는 방식 자체가 바뀝니다.

8분 걸리는 에이전트는 아침에 던져놓고 잊어버리는 배치 작업입니다. 25초짜리는 대화하듯 주고받는 도구가 됩니다. 후자에서는 사용자가 하루에 훨씬 더 많은 시도를 하게 되고, 방향이 틀렸을 때 즉시 수정합니다. 소프트웨어 역사에서 반복적으로 확인된 패턴이죠. 응답이 어떤 선 아래로 내려가면 사용 패턴이 아예 달라집니다.

OpenAI가 굳이 별도 인프라를 붙여서까지 초고속 옵션을 만드는 이유가 여기 있다고 봅니다. 속도는 이제 스펙 시트의 한 줄이 아니라 그 자체로 팔 수 있는 제품입니다.

엔비디아 독점에 난 균열, 그런데 어디까지인가

이 뉴스를 “엔비디아 시대의 종말"로 읽고 싶은 유혹이 큽니다. 저는 반대합니다. 대신 더 흥미로운 일이 벌어지고 있다고 봅니다. 학습과 추론 시장이 갈라지는 중입니다.

엔비디아의 진짜 해자는 하드웨어 성능이 아니라 CUDA 생태계입니다. 학습 단계에서는 새 아키텍처를 실험하고 커널을 직접 짜고 온갖 라이브러리를 조합해야 하는데, 이 유연성은 대체할 게 없습니다. 여기서 엔비디아를 밀어내기는 당분간 어렵습니다.

추론은 사정이 다릅니다. 모델 구조가 고정되고 나면 필요한 건 유연성이 아니라 정해진 연산 패턴을 극단적으로 잘 처리하는 능력입니다. 전용 하드웨어가 범용 하드웨어를 이기기 좋은 조건이죠. 세레브라스뿐 아니라 그록(Groq)의 LPU, 구글의 TPU, 아마존의 인퍼런시아가 모두 이 틈을 노려왔습니다.

시장 규모로 보면 이 분리가 더 중요해집니다. 모델은 한 번 학습해서 수억 번 서빙합니다. 시간이 갈수록 추론이 AI 컴퓨팅 지출의 대부분을 차지한다는 뜻입니다. 엔비디아가 학습을 지켜내더라도, 더 크게 자라는 쪽은 경쟁자와 나눠 갖게 됩니다.

다만 균열의 크기는 냉정하게 봐야 합니다. 지금 벌어지는 일은 OpenAI가 특정 워크로드를 위해 특정 파트너를 추가한 것이지, 인프라를 갈아엎은 게 아닙니다. OpenAI는 이미 엔비디아, AMD, 브로드컴 자체 칩까지 여러 갈래로 공급망을 넓혀왔습니다. 세레브라스는 그 포트폴리오에 붙은 한 축으로 보는 게 정확합니다.

진짜 질문은 속도가 아니라 원가입니다

여기서부터가 제가 정말 하고 싶은 얘기입니다. 속도가 빠른 건 이미 증명됐습니다. 증명되지 않은 건 그 속도가 돈이 되느냐입니다.

웨이퍼 스케일 방식의 경제적 약점은 명확합니다.

먼저 수율입니다. 칩을 자르지 않으니 웨이퍼에 결함이 하나라도 있으면 전체가 영향을 받습니다. 세레브라스는 결함 코어를 우회하는 여분 회로 설계로 이 문제를 풀었다고 설명해 왔지만, 그만큼 실리콘 면적을 낭비한다는 뜻이기도 합니다. 제조 원가가 GPU와 같은 선상에 있지 않습니다.

메모리 용량도 걸립니다. SRAM은 빠르지만 비싸고 밀도가 낮습니다. 대형 모델 하나를 올리려면 여러 장을 엮어야 하고, 그 순간 시스템은 복잡해집니다. 모델이 클수록 이 구조의 우아함이 흐려집니다.

그리고 활용률. 이게 핵심입니다. 초고속 칩의 경제성은 얼마나 놀지 않고 돌리느냐에 달렸습니다. GPU 서빙은 여러 요청을 큰 배치로 묶어 처리량을 끌어올립니다. 사용자당 속도는 느려도 칩은 쉬지 않습니다. 반대로 지연 시간을 극단적으로 낮추려면 배치를 작게 가져가야 하고, 그러면 하드웨어가 노는 시간이 생깁니다. 속도와 비용 효율이 여기서 정면으로 부딪칩니다.

그래서 이 승부의 관전 포인트는 벤치마크 숫자가 아닙니다. 실사용 부하에서 토큰당 원가가 어디에 형성되느냐입니다. 초고속 옵션이 일반 옵션보다 몇 배 비싸다면, 이건 “빠른 게 좋다"가 아니라 “얼마나 빠른 걸 얼마에 살 거냐"의 문제가 됩니다.

제 예상은 이렇습니다. 초기에는 프리미엄 가격이 붙을 겁니다. 그리고 그 프리미엄을 기꺼이 낼 사용처가 있습니다. 코딩 에이전트, 실시간 음성, 대화형 리서치처럼 기다림 자체가 제품 가치를 깎아먹는 영역입니다. 반대로 야간 배치 처리나 대량 문서 분류에는 아무 의미가 없습니다. 결국 워크로드별로 시장이 쪼개지고, 그렇게 갈라진 자리가 전용 칩 업체의 몫이 됩니다.

앞으로 지켜볼 신호

이 흐름이 진짜인지 판별할 지표를 정리해 두면 앞으로 뉴스를 읽기 편합니다.

가격표를 먼저 보세요. 초고속 옵션의 100만 토큰당 단가가 표준 옵션 대비 몇 배인지가 이 기술의 경제성을 그대로 보여줍니다. 격차가 빠르게 좁혀진다면 구조적 승리, 계속 벌어져 있다면 틈새 프리미엄입니다.

다음은 컨텍스트 길이와 처리량입니다. 데모에서 잘 나오는 짧은 프롬프트 속도와, 긴 코드베이스를 통째로 넣었을 때의 속도는 다른 이야기입니다. 실제 에이전트 워크로드는 후자입니다.

마지막은 개발자가 옮겨 가느냐입니다. 새 하드웨어의 성패는 결국 도구 생태계가 결정합니다. 기존 API를 그대로 쓰면서 백엔드만 바뀌는 형태라면 전환 비용이 낮아 확산이 빠를 겁니다.

마무리

지난 몇 년간 AI 경쟁의 축은 “누가 더 똑똑한 모델을 만드나"였습니다. 이제 “누가 더 빨리 생각하나"라는 축이 하나 더 생겼습니다. 에이전트가 사람 대신 수십 번 왕복하는 시대에는, 왕복 한 번의 지연이 곧 제품의 품질입니다.

다만 속도는 공짜가 아닙니다. 실리콘 한 장을 통째로 쓰는 대담한 설계가 벤치마크를 넘어 손익계산서까지 통과할 수 있을지는, 앞으로 나올 가격표를 봐야 압니다.

여러분이 쓰는 AI 도구에서 답변이 두 배 빨라진다면 얼마를 더 낼 의향이 있으신가요. 그 답에 따라 어느 칩이 팔릴지도 갈릴 겁니다.