AI 코딩 비용의 범인은 생성이 아니었다: 스포티파이가 토큰을 90% 줄인 방법

AI가 코드 몇 줄을 작성하는 데는 생각만큼 많은 토큰이 들지 않습니다. 비용이 많이 드는 건 코드를 쓰기 전 저장소를 뒤지고, 문서를 읽고, 서비스 사이의 관계를 파악하는 과정입니다. 스포티파이의 사례를 보면 이런 탐색 비용을 줄여 토큰 사용량을 90%까지 낮출 가능성이 있습니다.

AI는 코딩보다 길 찾기에 더 많은 돈을 씁니다

Claude Code 같은 AI 코딩 에이전트는 곧바로 정답부터 작성하지 않습니다. 우선 프로젝트 구조를 살펴보고, 관련 파일을 검색한 다음 설정 파일과 문서를 읽습니다.

문제는 AI 역시 필요한 정보가 어디에 있는지 모른다는 점입니다. 코드가 여러 저장소에 흩어져 있는 기업 환경에서는 더 복잡해집니다. 담당 팀이 어디인지, 서비스가 어떻게 의존하는지, 배포 방식은 무엇인지까지 확인해야 합니다.

사람에게 익숙한 탐색 과정도 AI에는 전부 토큰 비용으로 잡힙니다. 엉뚱한 파일을 열면 그 내용까지 컨텍스트에 들어갑니다. 그 뒤에는 불어난 정보를 안고 다음 판단을 내려야 합니다.

그래서 AI 코딩의 비용 구조는 단순하지 않습니다. 코드를 생성하는 일보다 코드를 이해하기 위한 탐색에 더 많은 비용이 들 수 있습니다.

스포티파이는 AI에게 지도가 먼저 필요하다고 봤습니다

스포티파이에는 수많은 서비스와 라이브러리가 있습니다. 각 서비스와 라이브러리에는 소유 팀과 문서, 운영 정보도 연결돼 있습니다. AI가 작업할 때마다 저장소 전체를 검색해서는 비효율을 피하기 어렵습니다.

이때 개발자 포털이 AI의 지도 역할을 합니다. 포털에는 어떤 서비스가 있고, 누가 관리하며, 무엇과 연결돼 있는지가 체계적으로 정리돼 있습니다. AI는 이 정보를 바탕으로 먼저 탐색 범위를 좁힐 수 있습니다.

결제 기능을 수정하는 상황을 예로 들어보겠습니다. AI가 모든 저장소에서 payment라는 단어부터 찾는 대신, 포털에서 결제 서비스를 먼저 확인하는 겁니다. 관련 API와 담당 저장소를 찾고 나서 필요한 코드만 읽을 수 있습니다.

둘의 차이는 분명합니다. 전자는 건물 안의 문을 하나씩 모두 열어보는 방식입니다. 후자는 안내 데스크에서 목적지와 담당자를 확인하고 곧장 찾아가는 방식입니다.

토큰 90% 절감의 핵심은 더 작은 모델이 아닙니다

이번 사례에서 눈에 띄는 숫자는 90%입니다. 그렇다고 모델 자체의 효율이 10배 좋아졌다는 의미로 받아들여서는 안 됩니다.

핵심은 AI에 제공하는 컨텍스트를 줄인 데 있습니다. 모델을 바꾼 것이 아니라 모델이 읽어야 할 자료를 정리한 것입니다. 불필요한 파일과 검색 결과를 덜어내자 입력 토큰도 함께 줄었습니다.

이런 방식을 흔히 컨텍스트 최적화라고 합니다. AI에 정보를 무작정 많이 주는 것이 아니라, 지금 하는 작업에 꼭 필요한 정보를 정확하게 건네는 기술입니다.

토큰이 줄어들면 비용만 낮아지는 게 아닙니다. 관련 없는 코드가 빠질수록 AI가 엉뚱한 파일을 수정할 가능성도 작아집니다. 응답 속도가 빨라지고 결과도 더 일관돼질 수 있습니다.

다만 90%는 스포티파이 환경에서 나온 사례라는 점을 감안해야 합니다. 모든 조직에서 같은 절감률을 재현할 수 있다는 뜻은 아닙니다. 최근 30일 동안 이 결과를 독립적으로 검증할 만한 커뮤니티 논의도 거의 찾아볼 수 없었습니다.

개발자 포털이 부실하면 AI도 자신 있게 틀립니다

이 방식이 제대로 작동하려면 한 가지 전제가 필요합니다. 포털의 정보가 정확해야 하고, 최신 상태로 관리돼야 합니다.

서비스 담당자가 바뀌었는데도 소유권 정보가 그대로라면 문제가 생깁니다. 폐기된 API가 여전히 노출돼 있는 경우도 마찬가지입니다. AI는 잘 정리된 잘못된 정보를 유난히 그럴듯하게 활용할 수 있습니다.

권한 관리도 빼놓을 수 없습니다. 개발자 포털에는 내부 서비스 구조와 운영 문서가 한데 모입니다. AI가 사용자의 권한 밖에 있는 정보까지 가져오지 못하도록 접근 범위를 세밀하게 통제해야 합니다.

개발자 포털은 단순히 문서를 모아둔 곳이 아닙니다. 코드, 문서, 소유권, 의존성을 연결하는 조직의 지식 인프라에 더 가깝습니다. AI를 도입하면 이 인프라가 얼마나 잘 갖춰져 있는지도 고스란히 드러납니다.

우리 팀이 먼저 측정해야 할 숫자

기업이 AI 코딩 비용을 줄이려 할 때 모델 가격부터 비교하기 쉽습니다. 하지만 먼저 확인해야 할 것은 작업 한 건에 들어간 전체 토큰입니다.

특히 코드 작성 전 탐색 과정에 토큰이 얼마나 쓰였는지 따로 살펴볼 필요가 있습니다. AI가 같은 파일을 여러 번 읽는지도 확인해야 합니다. 잘못된 저장소를 오가며 토큰을 허비하는 패턴도 찾아내야 합니다.

그런 다음 자주 찾는 정보를 체계적으로 정리하면 됩니다. 서비스 소유자, 저장소 위치, 주요 API, 의존 서비스, 배포 절차부터 시작해 볼 수 있습니다. 처음부터 모든 사내 문서를 AI에 넣을 필요는 없습니다.

목표는 무조건 컨텍스트를 줄이는 데 있지 않습니다. 정답을 만드는 데 필요한 최소한의 정보를 빠르게 찾아내도록 하는 것이 중요합니다. 토큰 절감은 그렇게 했을 때 따라오는 결과입니다.

스포티파이 사례의 메시지는 단순합니다. AI 코딩의 다음 경쟁력은 누가 코드를 더 빨리 생성하느냐보다 누가 필요한 맥락을 더 정확하게 제공하느냐에 달려 있습니다. 여러분의 AI는 지금 코드를 작성하고 있나요, 아니면 회사 안에서 길을 잃고 있나요?