삼성 PIM, AI의 ‘메모리 벽’을 무너뜨릴 구원투수일까

AI 반도체 경쟁의 무게중심이 계산 능력에서 메모리로 옮겨가고 있습니다. 아무리 빠른 GPU라도 데이터를 제때 받지 못하면 값비싼 연산 장치를 놀릴 수밖에 없기 때문입니다. 삼성전자가 Hot Chips 2026에서 강조한 PIM은 이런 대기 시간을 줄이기 위한 기술입니다.

AI 시대에 다시 등장한 ‘메모리 벽’

AI 모델을 실행하려면 방대한 데이터를 계속 불러와야 합니다. 모델의 가중치를 읽고 중간 계산 결과를 저장했다가 다시 연산 장치로 보내는 일이 반복됩니다.

문제는 GPU의 계산 속도와 메모리의 데이터 전달 속도가 같은 속도로 발전하지 않았다는 데 있습니다. GPU가 계산을 마쳐도 다음 데이터가 도착하지 않으면 멈춰 기다려야 합니다. 이런 병목을 메모리 벽이라고 부릅니다.

생성형 AI에서는 이 문제가 더욱 뚜렷합니다. 대규모 언어 모델은 짧은 답변 하나를 만드는 데도 수많은 가중치를 메모리에서 읽어야 합니다. 사용자가 늘어날수록 오가는 데이터와 소비 전력도 함께 증가합니다.

HBM은 메모리 대역폭을 넓혀 이 병목을 줄였습니다. 여러 개의 메모리 칩을 수직으로 쌓아 더 넓은 통로로 데이터를 보내는 방식입니다. 다만 통로가 넓어졌을 뿐, 데이터가 연산 장치와 메모리 사이를 계속 왕복해야 한다는 구조는 달라지지 않았습니다.

PIM은 데이터를 옮기는 대신 현장에서 계산합니다

PIM은 Processing-in-Memory의 약자입니다. 말 그대로 메모리 내부나 바로 가까이에 연산 기능을 넣는 기술입니다.

회사 업무에 빗대어 보겠습니다. 자료는 창고에 있지만 계산은 사무실에서만 할 수 있습니다. 직원은 계산할 때마다 창고와 사무실을 오가야 합니다. HBM이 둘 사이의 통로를 넓히는 방식이라면, PIM은 창고 안에 계산대를 들여놓는 방식입니다.

그렇다고 모든 계산을 메모리에 맡기는 것은 아닙니다. PIM은 데이터 이동이 잦고 반복적인 작업을 먼저 처리합니다. 덕분에 GPU는 더 복잡하고 중요한 연산에 집중할 수 있습니다.

이 방식이 제대로 작동하면 데이터를 옮기는 데 걸리는 시간이 줄고 GPU의 대기 시간도 짧아집니다. 특히 칩 사이에서 데이터를 주고받을 때 쓰이는 전력을 낮출 여지가 있습니다.

AI 데이터센터에서는 전력이 성능 못지않게 중요합니다. 서버 한 대가 아무리 빨라도 전력과 냉각 비용이 크게 늘어난다면 운영자는 선뜻 선택하기 어렵습니다. 그래서 PIM의 진짜 경쟁력은 최고 속도보다 전력당 성능에서 드러날 수 있습니다.

좋은 아이디어가 곧바로 표준이 되는 것은 아닙니다

PIM이라는 발상은 매력적이지만, 실제 제품으로 자리 잡는 일은 별개의 문제입니다. 가장 큰 걸림돌은 소프트웨어입니다.

현재 AI 생태계는 GPU를 중심으로 짜여 있습니다. 개발자는 널리 쓰이는 프레임워크와 라이브러리로 모델을 학습하고 배포합니다. PIM을 쓰려면 어떤 연산을 메모리에 맡길지 가려내야 하고, 컴파일러와 실행 환경도 이 과정을 뒷받침해야 합니다.

처리할 수 있는 연산이 제한돼 있다는 점도 걸림돌입니다. PIM은 같은 계산을 대량으로 반복하는 작업에 잘 맞습니다. 하지만 조건에 따라 처리 순서가 자주 바뀌는 작업에서는 효율이 떨어질 수 있습니다.

메모리 칩 안에 연산 회로를 넣으면 설계도 한층 복잡해집니다. 회로가 차지하는 면적과 발열을 관리해야 하고, 메모리 본연의 용량이나 수율을 해치지 않을 균형도 찾아야 합니다.

고객이 바라는 것은 인상적인 시연이 아닙니다. 기존 AI 서버에 얼마나 수월하게 적용할 수 있느냐가 더 중요합니다. 같은 모델을 더 적은 전력으로 실행하거나 같은 비용으로 더 많은 사용자를 처리한다는 결과를 보여줘야 합니다.

삼성의 승부처는 칩보다 생태계입니다

삼성전자에는 PIM을 추진하기에 유리한 조건이 있습니다. 메모리와 시스템 반도체를 함께 다룰 수 있기 때문입니다. 데이터가 저장되는 위치와 연산이 이뤄지는 구조를 함께 설계할 여지가 있습니다.

하지만 PIM의 성공 여부를 삼성만 결정할 수는 없습니다. GPU 업체와 서버 제조사, 클라우드 사업자, AI 소프트웨어 기업이 함께 움직여야 합니다. 특정 하드웨어에서만 작동한다면 활용 범위가 좁아질 수밖에 없습니다.

따라서 Hot Chips 2026 이후에는 발표 자료에 나온 최고 성능보다 실제 적용 사례를 눈여겨봐야 합니다. 어떤 AI 모델에서 효과가 있었는지, 기존 시스템을 얼마나 손봐야 하는지, 비용과 전력 소비가 얼마나 줄었는지가 중요합니다.

최근 30일 동안 확보된 공개 커뮤니티 표본을 보면, 이 발표를 구체적으로 평가한 게시물은 찾기 어려웠습니다. 기대와 비판이 충분히 쌓였다고 판단하기에는 아직 이릅니다. 지금은 온라인 반응보다 고객사 검증 결과와 소프트웨어 지원 범위를 살펴보는 편이 더 정확합니다.

PIM은 구원투수보다 새로운 역할 분담에 가깝습니다

PIM이 GPU를 대체하거나 메모리 벽을 한 번에 허물기는 어렵습니다. 다만 메모리가 반복적인 연산을 나눠 맡아 시스템 전체의 낭비를 줄이는 방향은 충분히 현실적입니다.

결국 승부를 가르는 것은 “메모리 안에서도 계산할 수 있다”는 기술적 가능성이 아니라 “기존 AI 서비스를 얼마나 싸고 편하게 운영할 수 있는가”입니다. 삼성 PIM은 AI 반도체의 새 표준이 될까요, 아니면 특정 작업에만 남는 전용 하드웨어가 될까요?