잠자는 맥북이 AI 서버가 된다 — Darkbloom이 그리는 탈중앙 추론의 청사진

지금 여러분의 맥북, 뭐 하고 있나요? 아마 화면 보호기가 돌고 있거나, 덮개가 닫혀 있을 겁니다. Darkbloom은 바로 그 ‘잠자는 시간’에 주목합니다. 전 세계 수백만 대의 유휴 Mac을 엮어 프라이빗 AI 추론 네트워크를 만들겠다는 구상인데요, 클라우드 없이도 AI를 돌릴 수 있다는 이 아이디어가 과연 현실이 될 수 있을지 살펴봤습니다.

왜 하필 Mac인가

핵심은 Apple Silicon입니다. M1 이후 모든 맥에 탑재된 이 칩은 Neural Engine과 통합 메모리(Unified Memory)를 갖추고 있습니다. GPU와 CPU가 같은 메모리 풀을 공유하기 때문에, 대규모 언어 모델을 올릴 때 데이터를 GPU 메모리로 복사하는 병목이 없습니다. M4 Pro 기준 통합 메모리가 최대 48GB, M4 Max는 128GB까지 올라갑니다. 이 정도면 70B 파라미터급 모델도 양자화를 거쳐 단일 머신에서 추론이 가능한 수준입니다.

NVIDIA H100 한 장이 수천만 원을 호가하는 시대에, 이미 책상 위에 놓인 맥북이 꽤 쓸만한 추론 장비라는 사실은 분명 매력적입니다.

Darkbloom이 제안하는 구조

Darkbloom의 핵심 아이디어는 단순합니다. 유휴 상태의 Mac을 네트워크로 연결해 분산 추론 노드로 활용하는 것입니다. 사용자가 소프트웨어를 설치하고, 맥이 놀고 있을 때 추론 작업을 받아 처리합니다. 여기에 ‘프라이빗 추론’이라는 키워드가 붙는데요, 데이터가 중앙 서버를 거치지 않고 개별 노드에서 처리되기 때문에 민감한 쿼리가 외부로 유출되지 않는 구조를 지향합니다.

쉽게 말해, 여러분의 맥북이 밤사이 남의 AI 질문에 답해주고, 여러분이 AI를 쓸 때는 다른 사람의 맥북이 도와주는 상호 부조 네트워크인 셈입니다.

기술적으로 어디까지 왔나

분산 추론 자체는 새로운 개념이 아닙니다. Petals 프로젝트가 이미 여러 대의 소비자 GPU를 모아 대형 모델을 돌리는 실험을 해왔고, Ollama나 llama.cpp 같은 로컬 추론 도구들이 Apple Silicon 최적화를 꾸준히 개선해왔습니다. Exo 같은 프로젝트도 여러 Mac을 클러스터로 묶어 하나의 큰 모델을 돌리는 접근을 시도하고 있습니다.

Darkbloom이 차별화를 주장하는 지점은 프라이버시 레이어입니다. 단순히 컴퓨팅을 나누는 것이 아니라, 추론 요청자의 데이터가 노드 운영자에게 노출되지 않도록 하겠다는 것인데요. 이를 위해서는 암호화된 추론(encrypted inference)이나 신뢰 실행 환경(TEE) 같은 기술이 뒷받침되어야 합니다. 다만 현재 Apple Silicon에서 이런 수준의 프라이버시 보장을 실용적 속도로 구현했다는 구체적 벤치마크는 아직 공개된 바가 많지 않습니다.

넘어야 할 현실적 벽들

아이디어는 매력적이지만, 현실의 장벽은 만만치 않습니다.

첫째, 네트워크 지연(latency) 문제입니다. 클라우드 데이터센터 내부의 인터커넥트는 수백 Gbps급인데, 가정용 인터넷은 기껏해야 수백 Mbps입니다. 모델을 여러 노드에 분산하면 노드 간 통신이 병목이 되어 응답 속도가 급격히 느려질 수 있습니다.

둘째, 가용성입니다. 사용자가 맥북 뚜껑을 열면 그 노드는 네트워크에서 빠집니다. 노드가 언제 사라질지 예측할 수 없는 환경에서 안정적인 서비스를 보장하기란 쉽지 않습니다.

셋째, 인센티브 설계입니다. 내 맥북의 배터리와 전기를 써가며 남의 추론을 돌려줄 이유가 있어야 합니다. 토큰 보상 같은 모델이 거론되지만, 크립토 기반 인센티브가 지속 가능한지는 여전히 논쟁적입니다.

거대 클라우드에 대한 대안이 될 수 있을까

현재 AI 추론 시장은 사실상 소수의 클라우드 업체가 지배하고 있습니다. OpenAI, Google, Anthropic 모두 자체 또는 파트너 데이터센터에 의존하고요. 이 구조에서 사용자의 데이터는 결국 누군가의 서버를 거칩니다.

Darkbloom 같은 탈중앙 추론 프로젝트가 주목받는 이유는, 이런 중앙 집중 구조에 대한 불편함이 커지고 있기 때문입니다. 내 질문이 어디에 저장되는지, 누가 볼 수 있는지 모른다는 불안감은 실제로 많은 사용자가 로컬 LLM에 관심을 갖게 된 주된 동기이기도 합니다.

다만 솔직히 말해, 분산 네트워크가 데이터센터급 성능과 안정성을 대체하기는 당분간 어렵습니다. 오히려 특정 니즈 — 예를 들어 의료 데이터처럼 절대 외부로 나가면 안 되는 민감한 추론, 혹은 검열 우려가 있는 지역에서의 AI 접근 — 에서 틈새를 찾는 것이 현실적 경로일 수 있습니다.

정리하며

Darkbloom의 비전은 명확합니다. 이미 존재하는 수백만 대의 Apple Silicon 기기를 활용해, 클라우드에 의존하지 않는 프라이빗 AI 추론 인프라를 만들겠다는 것입니다. 기술적 조각들은 하나씩 맞춰지고 있지만, 네트워크 지연·가용성·인센티브라는 세 가지 난제가 여전히 남아 있습니다.

여러분이라면 밤새 잠자는 맥북의 연산 능력을, 누군가의 AI 추론을 위해 기꺼이 빌려주시겠습니까?