구글 8세대 TPU '아이언우드', 엔비디아 왕좌에 도전장을 내밀다

AI 칩 시장에서 엔비디아의 점유율이 90%를 넘나드는 지금, 구글이 조용히 그러나 강력하게 반격을 준비해왔습니다. 8세대 TPU “아이언우드(Ironwood)“가 그 무기인데요. 단순히 “또 하나의 AI 칩"이 아니라, 다가올 에이전트 시대(agentic era)를 정조준한 전용 하드웨어라는 점이 핵심입니다. 왜 하필 지금, 왜 아이언우드인지 하나씩 풀어보겠습니다.

왜 ‘아이언우드’인가 - 이름에 담긴 메시지

구글 TPU의 세대별 코드네임을 보면 재미있는 패턴이 보입니다. 초기에는 숫자로만 불리다가, 최근 세대로 오면서 자연물이나 단단한 소재의 이름이 붙고 있는데요. 아이언우드(철갑나무)는 세상에서 가장 단단한 나무 중 하나로 꼽힙니다. 구글이 이 이름을 택한 건 우연이 아닙니다.

기존 TPU가 “학습(training)“과 “추론(inference)“을 두루 처리하는 범용 가속기였다면, 아이언우드는 추론에 특화된 워크호스로 설계됐습니다. 거대 AI 에이전트가 24시간 쉴 새 없이 추론을 돌려야 하는 시대, 견고함과 효율이 성능보다 더 중요해지는 지점을 구글은 미리 본 셈입니다.

에이전트 시대, 게임의 규칙이 바뀌고 있다

지금까지의 AI 인프라 경쟁은 “누가 더 빠르게 더 큰 모델을 학습시키느냐"였습니다. 그래서 엔비디아 H100, B200 같은 학습용 GPU가 독주할 수 있었죠.

그런데 2026년 현재, 판이 달라지고 있습니다. Claude, GPT, Gemini 같은 프론티어 모델이 충분히 똑똑해지면서 에이전트가 사용자 대신 장시간 작업을 수행하는 패턴이 주류가 됐습니다. 한 번의 대화가 아니라 수백 번의 도구 호출, 수만 토큰의 컨텍스트, 지속적인 상태 유지가 필요한데요.

이런 환경에서 중요한 건 피크 성능이 아니라 와트당 추론 토큰 효율입니다. 구글이 자체 데이터센터에서 Gemini와 검색 AI를 돌리며 누적해온 10년치 운영 데이터가, 바로 이 방향에 맞춰 아이언우드를 설계하게 한 배경입니다.

엔비디아 독주 체제에 균열이 생길까

솔직히 말하면, 엔비디아의 해자(moat)는 칩 자체보다 CUDA 생태계에 있습니다. 전 세계 AI 엔지니어가 CUDA에 익숙하고, 모든 주요 프레임워크가 CUDA에 최적화되어 있죠. 구글이 아무리 좋은 칩을 만들어도 이 장벽은 넘기 어렵습니다.

하지만 아이언우드의 전략은 영리합니다. 외부에 칩을 파는 대신, Google Cloud를 통해 서비스로 제공하는 방식입니다. 개발자는 CUDA를 배울 필요 없이, JAX나 PyTorch 코드를 그대로 Vertex AI에 올리면 내부에서 TPU가 돌아갑니다. 생태계 전쟁을 피하고, 클라우드 비용 전쟁으로 무대를 옮긴 거죠.

실제로 Anthropic이 대규모 TPU 계약을 체결한 것도 같은 맥락입니다. 최고의 성능이 필요한 학습은 여전히 엔비디아로, 대규모 추론 서빙은 TPU로 나눠 돌리는 하이브리드 전략이 업계 표준이 되어가고 있습니다.

진짜 경쟁자는 누구인가

흥미로운 건 구글의 진짜 경쟁자가 엔비디아만이 아니라는 점입니다. 아마존 트레이니움(Trainium), 마이크로소프트 마이아(Maia), 메타 MTIA, 애플 실리콘 서버까지 - 하이퍼스케일러마다 자체 칩을 만들고 있습니다.

AI 인프라 시장에서 “엔비디아에 돈을 퍼주지 않기 위한 경쟁”이 벌어지고 있는 셈인데요. 이 중에서 구글은 가장 오랜 TPU 경험을 가진 선발주자입니다. 8세대라는 숫자 자체가 증명하는 것이죠. 아마존과 메타가 이제 2, 3세대를 돌리는 동안, 구글은 벌써 전용 팟(pod) 단위 네트워킹과 수냉 인프라 노하우를 축적해뒀습니다.

개발자와 기업에게 의미하는 것

그럼 우리 같은 개발자와 기업 입장에서는 뭐가 달라질까요. 단기적으로는 추론 비용의 하락이 가장 큰 변화일 겁니다. 구글이 아이언우드로 가격 경쟁에 나서면, 엔비디아도 가만히 있을 수 없습니다. AWS와 Azure도 자체 칩으로 맞불을 놓겠죠.

중장기적으로는 AI 에이전트를 돌리는 비용이 지금의 1/10 수준까지 내려갈 수 있습니다. 그러면 지금은 경제성이 없어 못 만드는 “24시간 상주하는 개인 AI 비서” 같은 서비스가 현실이 됩니다.

엔비디아가 한동안은 왕좌를 지키겠지만, 구글의 아이언우드는 “AI 칩 = 엔비디아"라는 공식에 분명한 균열을 내고 있습니다. 에이전트 시대의 승자는 가장 빠른 칩을 만든 회사가 아니라, 가장 싸게 추론을 돌리는 회사가 될지도 모릅니다. 여러분이 지금 쓰는 AI 서비스, 그 뒤에서 돌아가는 칩이 무엇인지 한 번쯤 궁금해질 때입니다.