로컬LLM 3분 소요

맥북으로 돌리는 로컬 LLM, 정말 OpenRouter보다 쌀까? 계산기를 두드려봤습니다

“맥북 프로 한 대만 있으면 ChatGPT 구독 안 해도 되는 거 아냐?” 요즘 개발자 커뮤니티에서 자주 나오는 질문입니다. 그런데 막상 전기료와 하드웨어 감가상각까지 계산기를 두드려보면, 결과가 묘하게 뒤집힙니다. 오늘은 로컬 LLM이 정말 클라우드 API보다 싼가라는 통념을 숫자로 한번 까보겠습니다.

맥북에서 토큰 하나에 얼마가 드는지부터

먼저 단순한 사실 하나. M4 Mac Mini나 M3 Max MacBook Pro에서 Llama 3.1 70B 같은 모델을 돌리면, 초당 8~15토큰 정도가 나옵니다. 사용자가 체감하기엔 “느릿느릿 타이핑하는 친구” 수준이죠.

여기에 전력 소비가 붙습니다. 추론 중인 M3 Max는 약 7090W를 먹고, M4 Mac Mini는 3550W 선입니다. 한국 가정용 전기요금 누진 2단계(kWh당 약 280원)를 기준으로 계산하면, 1시간 풀가동에 20~30원 정도가 나옵니다.

별 거 아닌 것 같죠? 그런데 토큰 단위로 환산하면 이야기가 달라집니다. 시간당 약 3만5만 토큰을 뽑아낸다고 치면, 100만 토큰당 전기료만 500700원입니다.

OpenRouter는 같은 모델을 얼마에 팝니까

비교를 위해 OpenRouter를 봅시다. 같은 Llama 3.1 70B 모델이 OpenRouter에서는 100만 토큰당 약 0.40.6달러(약 540810원)에 풀립니다. DeepSeek V3 같은 모델은 더 싸서 100만 토큰당 0.27달러까지 내려갑니다.

여기서 1차 충격이 옵니다. 전기료만 따져도 로컬과 클라우드가 거의 동률이라는 것. 클라우드 쪽이 H100 같은 데이터센터급 GPU로 초당 수백 토큰을 뽑아내며 규모의 경제를 누리는 동안, 우리는 맥북 팬을 돌리며 비슷한 단가를 내고 있는 셈입니다.

하드웨어 감가상각이라는 숨은 비용

진짜 무서운 건 여기서부터입니다. M3 Max 36GB MacBook Pro 가격은 약 400만 원, 64GB 이상 모델은 500만 원이 훌쩍 넘죠. AI 워크스테이션으로 산다면 3년 감가상각으로 잡는 게 보수적입니다.

3년간 매일 2시간씩 추론에 쓴다고 가정해보겠습니다. 총 가동 시간은 약 2,190시간. 토큰으로 환산하면 약 1억 토큰 정도. 하드웨어 비용만 100만 토큰당 약 4만 원이 추가됩니다.

전기료 500원 + 감가상각 4만 원 = 100만 토큰당 약 4만 500원. OpenRouter의 약 600원과 비교하면, 로컬이 무려 67배 비싸지는 셈입니다.

그래도 로컬을 돌리는 이유는 따로 있습니다

물론 이 계산이 전부는 아닙니다. Alex Ziskind 같은 유튜버들이 “로컬 LLM이 10배 느린 이유"라는 콘텐츠로 15만 뷰를 모으는 데는 이유가 있죠. 사람들이 로컬 추론을 선택하는 진짜 이유는 비용이 아니라 프라이버시와 통제권입니다.

회사 코드를 외부 API에 보낼 수 없는 환경, 의료 기록을 다루는 업무, 오프라인에서도 동작해야 하는 워크플로우. 이런 케이스에서는 100만 토큰당 4만 원도 합리적인 가격입니다. 또 맥북은 어차피 업무용으로 산 거니까 “한계 비용"만 따지면 전기료뿐이라는 반론도 가능하고요.

흥미로운 점은 1,000달러 미만 AI 하드웨어 시장이 빠르게 분화되고 있다는 겁니다. M4 Mac Mini, 96GB DDR5를 단 AI PC, AMD 기반 미니 서버까지. 각자 다른 워크로드에 최적화된 선택지가 늘어나고 있죠.

결국 질문은 “왜 로컬이냐”

정리해보면 이렇습니다. “로컬이 더 싸다"는 통념은 전기료만 본 착시입니다. 하드웨어 값을 진지하게 계산에 넣으면, 가벼운 사용자에게는 OpenRouter 같은 클라우드 API가 압도적으로 경제적입니다.

그럼에도 로컬을 선택한다면, 그 이유는 비용이 아니라 데이터 주권, 레이턴시 통제, 오프라인 가동 같은 비경제적 가치여야 합니다. 여러분의 맥북은 지금 어떤 용도로 토큰을 뽑고 있나요? 그게 100만 토큰당 4만 원의 값어치를 하는지, 한 번쯤 계산기를 두드려볼 만합니다.

로컬LLM AppleSilicon OpenRouter AI비용 추론경제학

댓글

    댓글을 불러오는 중...