크롬이 브라우저에 LLM을 심었다 — Prompt API와 Gemini Nano가 바꾸는 웹 개발의 판

요즘 웹 개발자 커뮤니티에서 조용히, 그러나 확실하게 판을 흔드는 이야기가 있습니다. 바로 크롬이 브라우저 자체에 LLM을 박아 넣었다는 사실인데요. window.ai 한 줄이면 OpenAI 키도, 서버도 없이 챗봇이 돌아갑니다. 웹 개발의 전제 조건이 바뀌는 순간입니다.

Prompt API가 뭔가요

크롬의 Prompt API는 브라우저 안에 내장된 Gemini Nano 모델을 자바스크립트에서 직접 호출할 수 있게 해주는 웹 표준 후보입니다. 사용법은 충격적으로 간단합니다. const session = await ai.languageModel.create() 한 줄로 세션을 만들고, session.prompt("질문")으로 응답을 받습니다.

기존 방식과 비교하면 차이가 극명합니다. 지금까지는 OpenAI나 Anthropic 같은 외부 API를 호출해야 했고, 그러려면 백엔드 서버, API 키 관리, 사용량 과금, 응답 지연 같은 걸림돌을 모두 감수해야 했습니다. Prompt API는 이걸 전부 건너뜁니다. 모델이 사용자 기기 안에 있으니까요.

왜 이게 게임체인저인가

세 가지 측면에서 의미가 큽니다.

첫째, 비용입니다. 추론이 사용자 기기에서 돌기 때문에 개발자 입장에서 토큰당 과금이 사라집니다. 사이드 프로젝트나 무료 서비스에 AI를 얹는 진입장벽이 사실상 0이 됩니다.

둘째, 프라이버시입니다. 사용자가 입력한 텍스트가 외부 서버로 나가지 않습니다. 의료, 법률, 금융처럼 민감한 데이터를 다루는 도메인에서 그동안 LLM 도입을 망설였던 이유 하나가 사라지는 셈입니다.

셋째, 오프라인 작동입니다. 인터넷 연결이 끊겨도 요약, 번역, 분류 같은 작업이 그대로 동작합니다. 비행기 안에서도 AI가 돌아간다는 뜻입니다.

그런데 한계도 명확합니다

물론 만능은 아닙니다. Gemini Nano는 이름 그대로 나노급 모델입니다. GPT-4나 Claude Opus 같은 프론티어 모델과 같은 추론 능력을 기대하면 실망합니다. 복잡한 코드 생성, 긴 문서의 정교한 요약, 다단계 추론 같은 무거운 작업은 여전히 클라우드 모델의 영역입니다.

기기 사양도 문제입니다. 모델 가중치를 로컬에 다운로드해야 하기 때문에 디스크 공간 수 GB가 필요하고, 일정 수준 이상의 RAM과 GPU가 있어야 매끄럽게 돕니다. 구형 기기 사용자에게는 폴백이 필요합니다.

또 하나, 표준화가 아직 진행 중입니다. 현재는 크롬에서 origin trial 형태로 제공되고 있고, 사파리나 파이어폭스가 같은 API를 채택할지는 미지수입니다. 웹 호환성 관점에서는 당분간 점진적 향상(progressive enhancement) 패턴이 필수입니다.

어떤 use case가 먼저 뜰까

당장 떠오르는 적용처는 이런 것들입니다. 폼 입력 자동완성, 댓글 톤 개선, 실시간 번역 위젯, 브라우저 확장 프로그램의 요약 기능, 접근성 보조(시각장애인을 위한 이미지 alt 자동 생성). 공통점은 가볍고, 자주 호출되고, 지연이 거슬리는 작업이라는 겁니다. 이런 영역에서 클라우드 호출은 비용·속도 모두 비효율적이었는데, 온디바이스가 정확히 그 빈자리를 메웁니다.

반면 RAG 기반 검색, 에이전트형 워크플로, 코드 생성처럼 모델 크기와 컨텍스트가 중요한 작업은 여전히 서버 사이드 LLM과 하이브리드로 가야 합니다. “가벼운 건 로컬, 무거운 건 클라우드”라는 라우팅 패턴이 새로운 디폴트가 될 가능성이 높습니다.

마무리하며

브라우저가 운영체제처럼 변하고 있습니다. 한때 자바스크립트 엔진이 그랬고, WebGL이 그랬고, WebAssembly가 그랬듯이, 이제는 AI 모델이 브라우저의 기본 빌트인이 되는 흐름입니다. 백엔드를 거치지 않고 프론트엔드만으로 AI 기능을 완성할 수 있는 세상 — 풀스택의 정의가 다시 흔들리고 있는 셈인데요.

여러분이 지금 만들고 있는 서비스 중에, 사실은 클라우드 LLM이 과한 작업을 굳이 클라우드로 보내고 있는 곳은 없으신가요? Prompt API가 안정화되는 시점에 가장 먼저 옮길 수 있는 기능 하나, 미리 점찍어두는 것도 나쁘지 않을 겁니다.