코드 몇 줄로 메모리 100TB를 줄인 Cloudflare, AI 시대의 진짜 경쟁력

요즘 테크 업계의 관심은 더 큰 AI 모델과 더 비싼 GPU에 쏠려 있습니다. 그런데 Cloudflare는 정반대 방향에서 흥미로운 숫자를 내놓았습니다. 코드 몇 줄을 손봐 메모리 100TB를 아낀 사례입니다.

DNS 캐시는 인터넷의 거대한 메모장입니다

브라우저에 웹 주소를 입력하면 DNS가 그 주소에 해당하는 IP를 찾아줍니다. 전화번호부에서 이름을 검색해 번호를 찾는 것과 비슷합니다.

Cloudflare의 1.1.1.1은 이 작업을 대신해 주는 공개 DNS 서비스입니다. 한 번 조회한 결과는 일정 시간 캐시에 보관합니다. 같은 질문이 들어올 때마다 외부 서버에 처음부터 다시 묻지 않기 위해서입니다.

캐시를 쓰면 응답 속도가 빨라지고 네트워크 요청도 줄어듭니다. 문제는 규모입니다. 전 세계에서 들어오는 수많은 도메인 정보를 저장하려면 엄청난 메모리가 필요합니다.

데이터 하나만 보면 낭비되는 공간은 눈에 잘 띄지 않습니다. 하지만 수십억 개의 캐시 항목과 전 세계 서버에서 같은 낭비가 반복되면 이야기가 달라집니다.

몇 바이트가 100TB로 불어나는 계산법

이번 최적화의 핵심은 거창한 알고리즘이 아닙니다. 캐시 데이터를 담는 자료구조에서 불필요한 여유 공간과 부가 정보를 덜어낸 것입니다.

프로그램은 데이터를 저장할 때 실제 내용만 보관하지 않습니다. 데이터의 길이나 저장 용량 같은 관리 정보도 함께 둡니다. 나중에 데이터가 커질 가능성을 고려해 미리 여유 공간을 확보하기도 합니다.

하지만 DNS 캐시에 들어간 응답은 저장된 뒤 크기가 자주 바뀌지 않습니다. 이미 완성된 상자를 계속 커질 수 있는 서랍처럼 관리할 필요가 크지 않은 셈입니다.

Cloudflare는 이런 특성에 맞게 더 간결한 표현 방식을 적용했습니다. 항목 하나에서 줄인 양은 작지만, 전체 시스템으로 넓혀 보면 약 100TB에 이릅니다.

100TB는 16GB 메모리를 탑재한 노트북 약 6,250대에 해당하는 용량입니다. 대규모 서비스에서 몇 바이트는 결코 작은 숫자가 아닙니다.

절약한 것은 메모리만이 아닙니다

메모리 사용량이 줄면 같은 서버에 더 많은 데이터를 담을 수 있습니다. 캐시 적중률을 유지하면서 서버 수를 줄일 수도 있고, 늘어나는 트래픽을 기존 장비로 감당할 여유도 생깁니다.

전력과 냉각 비용도 줄일 수 있습니다. 메모리 장비를 추가할 때는 부품값만 드는 게 아닙니다. 서버를 둘 공간과 전력 공급, 냉각 설비, 장애 대응에도 비용이 들어갑니다.

다만 100TB 절감이 곧 그만큼의 현금 지출이 즉시 사라졌다는 뜻은 아닙니다. 전체 인프라에서 쓸 수 있는 메모리 여유를 확보했다고 보는 편이 정확합니다. 실제 비용 절감 효과는 서버 구성과 증설 계획에 따라 달라집니다.

그래도 얻은 것은 분명합니다. 서비스를 키우려고 하드웨어를 더 사지 않아도, 이미 갖춘 장비를 더 효율적으로 쓸 수 있게 됐습니다.

AI 인프라 시대에 효율의 값어치가 다시 커졌습니다

AI 경쟁에는 막대한 컴퓨팅 자원이 들어갑니다. 기업들은 GPU는 물론 메모리와 전력, 데이터센터 공간까지 확보해야 합니다.

이런 환경에서는 소프트웨어 최적화가 돈으로 이어지는 폭도 커집니다. 코드 한 줄이 서버 한 대에서는 별 차이를 내지 못하더라도, 수천 대에 배포되면 장비 구매 계획까지 바꿀 수 있습니다.

특히 캐시나 데이터베이스처럼 같은 구조를 계속 반복해서 쓰는 시스템에서는 효과가 큽니다. 사용자가 바로 체감할 새 기능을 만들지 않고도 회사의 비용 구조를 바꿀 수 있습니다.

한편 2026년 7월 28일부터 8월 27일까지 공개 커뮤니티에서는 이 사례를 직접 다룬 확인 가능한 토론이 거의 없었습니다. 따라서 “개발자들이 열광했다”는 식으로 반응을 부풀릴 근거는 부족합니다. 화제성보다는 작은 낭비도 규모가 커지면 거대한 비용이 된다는 인프라의 특성에 주목할 만합니다.

Cloudflare의 사례를 보면 AI 시대의 경쟁력이 꼭 더 큰 모델과 더 많은 장비에서만 나오는 것은 아닙니다. 다음 혁신은 새 서버를 들이는 일이 아니라, 지금 쓰는 메모리에서 불필요한 몇 바이트를 찾아내는 일일지도 모릅니다. 여러분의 서비스에도 수십억 번 반복되는 작은 낭비가 숨어 있지는 않나요?