딥마인드가 '온몸으로 움직이는' 로봇을 공개했다 — 로봇 파운데이션 모델은 데모의 벽을 넘었나

로봇 영상은 늘 근사합니다. 문제는 그 영상이 몇 번째 촬영본인지 아무도 말해주지 않는다는 거죠. 최근 구글 딥마인드가 밀고 있는 로봇 파운데이션 모델, 그중에서도 ‘전신(whole-body) 제어’라는 말이 업계에서 부쩍 자주 들립니다. 팔 하나 까딱하던 로봇이 몸통과 다리까지 함께 쓰기 시작했다는 이야기입니다. 진짜 변곡점일까요, 아니면 또 한 번의 잘 편집된 데모일까요.

미리 밝혀둘 게 있습니다. 이 주제로 최근 한 달간의 커뮤니티 반응을 훑어봤는데, 쓸 만한 실사용자 토론이 거의 없었습니다. 로봇 파운데이션 모델은 아직 대중이 매일 만지는 물건이 아니거든요. 그래서 이 글은 커뮤니티 여론 정리보다 기술적 맥락과 업계 구조 쪽으로 기울어 있습니다.

‘손’에서 ‘몸’으로

지금까지 로봇 조작(manipulation) 연구의 대부분은 사실상 팔과 손에 갇혀 있었습니다. 테이블 앞에 고정된 로봇 팔이 컵을 집고, 서랍을 열고, 옷을 갭니다. 작업 공간이 카메라 프레임 안에 다 들어오고, 로봇의 몸통은 움직이지 않습니다. 연구자 입장에선 편합니다. 변수가 적으니까요.

현실의 일은 그렇지 않습니다. 바닥에 떨어진 물건을 주우려면 무릎을 굽혀야 하고, 높은 선반에 손을 뻗으려면 발끝을 세우거나 한 발 다가서야 합니다. 무거운 상자를 들 때는 허리와 다리가 팔보다 더 많은 일을 합니다. 이동(locomotion)과 조작(manipulation)이 애초에 갈라지는 문제가 아닙니다.

전신 지능은 이 둘을 한 모델이 동시에 계획하고 제어한다는 뜻입니다. “저기까지 걸어가서” 다음에 “손을 뻗어라"가 아니라, 목표에 맞춰 몸 전체의 관절을 한꺼번에 최적화합니다. 말은 간단한데 제어 난이도는 차원이 다릅니다. 팔을 뻗는 순간 무게중심이 무너지면 로봇은 그냥 넘어집니다.

왜 지금 파운데이션 모델인가

로봇 업계가 언어 모델 방식을 따라가는 이유는 단순합니다. 기존 로봇 소프트웨어는 작업마다 새로 짜야 했거든요. 컵 집기 코드와 문 열기 코드가 완전히 별개였습니다. 로봇 회사가 매번 “저희 로봇은 이것도 할 수 있습니다"라며 단일 작업 데모를 찍던 이유이기도 합니다.

파운데이션 모델 접근법은 여기에 일반화를 끌어옵니다. 웹 스케일의 시각-언어 데이터로 사전 학습한 모델에 로봇 행동 데이터를 얹으면 학습하지 않은 물체나 지시에도 어느 정도 대응합니다. “빨간 컵을 집어"라고 배운 로봇이 “가장 큰 머그를 저 상자에 넣어"도 해냅니다. 시각-언어-행동(VLA) 모델이라고 부르는 구조입니다.

딥마인드가 유리한 지점도 여기입니다. 제미나이라는 멀티모달 기반 모델이 이미 있으니, 로봇 팔을 붙이는 건 상대적으로 뒤쪽 작업입니다. 반대로 순수 로봇 회사는 기반 모델부터 만들어야 합니다. 이 격차가 앞으로 몇 년의 판도를 가를 공산이 큽니다.

아직 못 넘은 벽

그럼에도 냉정하게 봐야 할 지점이 있습니다.

먼저 성공률. 로봇 논문에서 흔히 보는 70~80% 성공률은 연구 지표로는 훌륭하지만 제품으로는 재앙입니다. 열 번 중 두세 번 접시를 떨어뜨리는 식기 정리 로봇을 누가 집에 들이겠습니까. 산업 현장의 기준선은 보통 99% 이상입니다. 마지막 20%가 앞의 80%보다 어렵다는 건 로봇 바닥의 오래된 이야기죠.

속도도 만만치 않습니다. 데모 영상이 종종 배속으로 재생되는 데는 이유가 있습니다. 실제 로봇의 동작은 사람보다 느립니다. 여기에 대형 모델의 추론 지연까지 얹히면 반응이 더 굼떠집니다. 사람이 1초에 하는 일을 로봇이 15초에 한다면 인건비 계산이 성립하지 않습니다.

마지막은 데이터입니다. 언어 모델에는 인터넷이라는 공짜 코퍼스가 있었지만 로봇 행동 데이터는 그런 게 없습니다. 실제 로봇을 사람이 조종해서 한 땀 한 땀 모아야 합니다. 시뮬레이션과 영상 학습으로 메우려는 시도가 활발한데, 물리 세계의 미묘한 마찰과 변형을 시뮬레이터가 완벽히 재현하지는 못합니다. 이른바 sim-to-real 간극입니다.

그래서 무엇이 달라지고 있나

비판만 늘어놓았지만 방향 자체는 분명히 바뀌고 있습니다.

과거 로봇 데모는 “이 로봇이 이 작업을 한다"였습니다. 지금은 “이 모델이 여러 로봇 몸체에서 여러 작업을 한다"로 질문이 옮겨갔습니다. 하드웨어와 소프트웨어가 갈라지기 시작했습니다. 스마트폰 시장에서 안드로이드가 그랬듯, 로봇 몸체는 여러 회사가 만들고 두뇌는 소수의 기업이 공급하는 구조가 될 수 있습니다.

전신 제어가 중요한 것도 이 맥락입니다. 팔만 쓰는 로봇은 결국 정해진 작업대 앞의 자동화 기계입니다. 몸 전체를 쓰는 로봇은 사람이 사는 공간, 그러니까 계단과 문턱과 어질러진 바닥이 있는 환경으로 나올 수 있습니다. 시장 규모가 완전히 달라집니다.

마무리

로봇 파운데이션 모델은 데모의 벽을 넘었을까요. 절반쯤은 넘었다고 봅니다. 일반화 능력이라는 벽은 확실히 낮아졌고, 전신 제어라는 다음 관문도 연구 단계에서는 열렸습니다. 신뢰성과 속도라는 벽은 그대로 남아 있습니다. 이건 모델 크기를 키운다고 저절로 풀리는 문제가 아닙니다.

지켜볼 지표는 하나입니다. 편집되지 않은 긴 영상에서, 처음 보는 환경의 로봇이 몇 번 실패하고 몇 번 복구하는가. 실패에서 회복하는 로봇이 편집 없이 찍히는 날, 그때가 진짜 변곡점입니다. 집에 로봇을 들인다면 성공률이 몇 퍼센트는 돼야 할까요. 저는 아직 제 기준을 못 정했습니다.