모델을 실리콘에 새긴다: AMD의 Taalas 인수가 던진 'AI 칩 다음 판'

AI 칩 이야기는 늘 결론이 비슷했습니다. 엔비디아가 앞서 있고, AMD가 쫓아가고, 구글과 아마존은 자체 칩을 만든다. 그런데 최근 AMD가 캐나다 스타트업 Taalas를 품으면서 이 구도에 좀 다른 질문이 하나 붙었습니다. 칩 위에서 모델을 돌리는 게 아니라, 모델 자체를 칩에 새겨버리면 어떨까라는 질문입니다.

하나 먼저 짚고 갑니다. 이번 주제는 커뮤니티 반응 데이터가 거의 안 잡혔습니다. 레딧 기준으로 최근 30일 내 볼 만한 스레드가 없더군요. 그래서 이 글은 여론을 정리하기보다 기술 구조와 산업 맥락을 읽는 쪽에 무게를 뒀습니다.

하드와이어드 AI, 대체 뭐가 다른가

지금의 AI 칩은 따지고 보면 범용 계산기입니다. GPU는 행렬 곱셈을 아주 빠르게 하는 장치고, 모델 가중치는 메모리에 얹혀 있다가 계산이 필요할 때마다 칩으로 불려 옵니다. 그래서 GPU 하나로 라마도 돌리고 클로드 계열 서빙도 하고 이미지 모델도 돌립니다. 유연합니다.

Taalas가 밀어붙인 방향은 정반대입니다. 특정 모델의 가중치와 구조를 실리콘 회로에 아예 고정해버립니다. 소프트웨어가 불러오는 파라미터가 아니라 트랜지스터 배치 자체가 모델인 셈이죠. GPU가 악보를 보고 연주하는 오케스트라라면, 하드와이어드 칩은 곡 하나만 재생하도록 만들어진 오르골입니다.

왜 이런 접근이 나왔나: 병목은 연산이 아니라 메모리

이 방식이 솔깃한 데는 이유가 있습니다. 요즘 추론 성능의 진짜 병목은 연산량이 아니라 메모리 대역폭이거든요.

거대 모델을 서빙할 때 GPU는 토큰 하나 만들 때마다 수십에서 수백 기가바이트의 가중치를 메모리에서 읽어 옵니다. 계산 유닛은 놀고 있는데 데이터가 안 와서 기다립니다. 그게 계속 반복돼요. HBM 값이 그렇게 비싼 것도, 엔비디아가 대역폭 숫자를 그렇게 강조하는 것도 이 때문입니다.

가중치를 칩에 새겨버리면 이 왕복이 사라집니다. 가지러 갈 데이터가 없으니까요. 이론상 처리량은 수십 배 뛰고 토큰당 전력 소비는 확 떨어집니다. AI 데이터센터가 전기 문제로 지역 주민과 부딪친다는 뉴스가 계속 나오는 판입니다. 여기서 전력 효율은 있으면 좋은 게 아니라 사업 존폐가 걸린 변수예요.

문제는 유연성입니다

당연히 대가가 있습니다. 칩에 새긴 모델은 바꿀 수 없습니다. 파인튜닝도 안 되고 버전 업데이트도 안 됩니다. 아키텍처 교체는 말할 것도 없고요. 새 모델을 쓰려면 칩을 새로 찍어야 합니다.

여기서 두 업계의 시간 감각이 어긋납니다. 반도체는 설계에서 양산까지 보통 1년 이상 걸립니다. 반면 프론티어 모델 쪽은 몇 달 단위로 판을 갈아엎죠. 힘들여 새긴 칩이 나올 때쯤 그 모델은 이미 구세대가 돼 있기 십상입니다.

그래서 하드와이어드 접근이 통하려면 둘 중 하나는 있어야 합니다. 모델 아키텍처가 자리를 잡아 더 이상 크게 안 바뀌거나, 특정 모델을 아주 오래 아주 대량으로 서빙하는 수요가 있거나. 그런데 후자는 이미 생기고 있습니다. 코딩 어시스턴트, 번역, 음성 인식처럼 검증된 중소형 모델을 24시간 돌리는 워크로드는 지금도 충분히 큽니다.

AMD는 왜 이걸 샀을까

AMD 입장에서 이 인수는 정면 승부라기보다 측면 우회입니다.

GPU 시장에서 엔비디아를 정면으로 이기기는 어렵습니다. 성능 격차도 있지만 진짜 벽은 CUDA 생태계입니다. AMD가 ROCm에 아무리 투자해도 개발자 습관을 뒤집는 건 다른 차원의 일이죠.

하지만 판이 바뀌는 자리에서는 얘기가 다릅니다. 추론 전용 하드와이어드 칩 시장은 아직 아무도 선점하지 못했고 CUDA 호환성이라는 해자도 여기서는 힘이 빠집니다. 애초에 프로그래밍할 게 별로 없는 칩이니까요. AMD는 지금 판을 이기려는 게 아닙니다. 다음 판에 미리 자리를 잡아두려는 겁니다.

헤지이기도 하고요. 하드와이어드 방식이 안 먹혀도 AMD는 GPU를 계속 팝니다. 반대로 이 방향이 터지면 초기 진입자가 되고요. 인수 규모를 생각하면 나쁘지 않은 베팅입니다.

GPU 범용성의 종말일까

종말까지는 아닙니다. 역할이 갈리는 쪽이죠.

학습은 여전히 GPU 몫입니다. 실험하고 되돌리고 바꾸는 과정에는 유연성이 있어야 하니까요. 추론은 갈라질 겁니다. 최신 프론티어 모델은 GPU 위에서, 검증되고 수요가 안정적인 모델은 전용 실리콘 위에서 돌아가는 그림이 자연스럽습니다.

CPU가 걸어온 길과 비슷합니다. 범용 CPU가 사라지진 않았지만 영상 인코딩이나 암호화 같은 반복 작업은 전용 가속기로 넘어갔죠. AI도 같은 길을 밟는 중이라고 봅니다. 다만 그 전환이 언제냐가 수십조 원짜리 질문입니다.

하나 더. 하드와이어드 칩이 늘어나면 모델 하나의 수명이 지금보다 중요해집니다. 칩으로 찍을 만큼 오래 쓸 모델을 고르는 일이 곧 돈을 어디에 넣을지 정하는 일이 되니까요. 몇 달마다 새 모델로 갈아타는 지금 분위기와는 잘 안 맞습니다.

마무리

AMD의 Taalas 인수는 성능 경쟁 뉴스라기보다 AI 인프라가 어느 단계까지 왔는지 알려주는 신호입니다. 전용 실리콘에 새길 만큼 안정적인 모델이 있다고 판단하는 순간, 업계는 실험 국면에서 산업 국면으로 넘어가는 셈이니까요.

여러분이 쓰는 AI 서비스 중에 앞으로 1년 동안 모델이 거의 안 바뀌어도 괜찮은 건 몇 개나 될까요. 그 답이 많을수록 하드와이어드 칩 시장은 커집니다.