오픈AI 할라피뇨가 블랙웰을 앞섰다, 엔비디아 해자는 아직 학습에 있습니다

오픈AI가 직접 만든 1세대 칩이 추론에서 엔비디아 블랙웰을 앞섰습니다. SemiAnalysis 벤치마크가 그렇게 봤습니다. 지금 이 뉴스가 뜨거운 이유는 속도 기록 자체보다 큰손 고객이 공급사를 일부 대체하기 시작했기 때문입니다.

1세대 칩이 플래그십을 앞지른 자리

할라피뇨(Jalapeño)는 오픈AI의 첫 커스텀 추론 칩입니다. 무엇이든 돌리는 GPU가 아닙니다. 이미 학습이 끝난 모델을 서비스에 올려 토큰을 뽑아내는 일에 맞춰 깎았습니다.

SemiAnalysis는 이 칩을 블랙웰의 추론 성능과 같은 자리에 놓고 비교했습니다. 첫 세대인데도 블랙웰을 앞섰다고 적었습니다. 지난 한 달 공개 커뮤니티에서 원숫자를 놓고 댓글이 크게 붙진 않았습니다. 유료 보고서라 측정 조건이 바깥으로 잘 안 나옵니다. 그래도 업계가 멈칫한 이유는 분명합니다. 세계 최대 AI 회사 가운데 하나가 첫 칩부터 엔비디아 주력 세대를 추론에서 위협했다는 선언이기 때문입니다.

범위를 먼저 잘라야 합니다. 이번 벤치는 추론입니다. 모델을 처음부터 키우는 학습 승부가 아닙니다.

추론은 커스텀 칩이 이기기 쉬운 경기입니다

학습과 추론은 같은 AI라도 하드웨어가 원하는 게 다릅니다.

학습은 실험에 가깝습니다. 모델 구조가 바뀌고 칩을 묶는 방식도 수시로 바뀝니다. 그래서 범용 GPU와 소프트웨어가 유리합니다. 엔비디아가 여기를 오래 장악한 이유입니다.

추론은 반복입니다. 같은 모델을 같은 패턴으로 쉴 새 없이 돌립니다. 만능일 필요는 없습니다. 전력 대비 토큰 수와 장당 원가가 이깁니다. 필요 없는 범용 기능을 빼면 칩을 더 효율적으로 만듭니다.

구글 TPU와 아마존 인퍼런시아가 먼저 보여 준 길입니다. 그로크 같은 추론 특화 칩도 같은 논리를 밀고 있습니다. 할라피뇨가 충격인 이유는 상대가 보급형이 아니기 때문입니다. 엔비디아의 현재 주력인 블랙웰을 상대로 앞섰다는 점입니다.

학습용 GPU는 아직 다른 나라입니다

엔비디아 해자가 깨졌다고 보기엔 이릅니다. 해자는 경쟁자가 쉽게 따라오기 어려운 방어막입니다.

학습 클러스터는 칩 한 장의 점수가 아닙니다. 칩끼리 아주 빠르게 묶는 NVLink, CUDA 같은 개발 소프트웨어, 그 위에서 돌아가는 학습 도구가 한 몸으로 움직입니다. 오픈AI 역시 최전선 모델 학습에서는 여전히 엔비디아 장비를 중심으로 돌립니다.

커스텀 칩이 학습까지 가져가려면 연결망과 연구 유연성이 따라와야 합니다. 구글도 TPU를 여러 세대에 걸쳐 키운 뒤에야 학습과 추론을 함께 밀었습니다. 1세대 추론 칩의 승리만으로 그 숙제가 끝나진 않습니다.

할라피뇨가 보여 준 건 왕좌 교체가 아닙니다. 가장 큰 고객 가운데 하나가 추론 비용을 자기 공장으로 끌어오기 시작했다는 신호입니다.

깨진 건 왕좌가 아니라 수요의 경계입니다

엔비디아가 강한 이유는 칩 하나 속도가 다가 아닙니다. 개발자가 CUDA로 생각하고 클라우드가 GPU 랙 단위로 발주합니다. 논문과 오픈소스도 그 위를 전제로 쌓입니다.

오픈AI가 추론 물량을 자체 칩으로 옮기면 엔비디아 매출 구성은 바뀝니다. 서비스가 커질수록 추론 수요는 학습보다 오래, 더 많이 늘어납니다. 그래서 엔비디아도 블랙웰 세대부터 추론 효율을 같이 밀어 왔습니다.

다만 할라피뇨는 오픈AI 일에 맞춘 칩입니다. 다른 회사가 내일 사서 쓸 제품이 아닙니다. 엔비디아의 넓은 고객 기반은 그 바깥에 남아 있습니다. 해자가 무너졌다기보다 가장 큰 손님 하나가 추론 전선을 따로 열었다고 보는 편이 맞습니다.

지금 바깥에 나온 이야기에는 빈칸도 있습니다. 양산 규모, 실제 서비스 투입 비중, 모델이 바뀌었을 때 칩을 다시 깎는 비용은 아직 잘 안 보입니다. 1세대가 이겼다는 문장만 먼저 나와 있습니다.

할라피뇨가 블랙웰을 앞선 건 엔비디아 시대가 끝났다는 뜻이 아닙니다. 추론 전장에서 가장 큰 고객이 자기 무기를 꺼내기 시작했습니다. 다음에 볼 것은 오픈AI 트래픽 중 얼마가 자기 칩으로 돌아가느냐, 그 숫자가 우리가 내는 구독료와 응답 속도를 언제부터 바꾸느냐입니다.