AI 크롤러가 작업증명까지 넘었다, 리눅스 커널 트래픽 98%가 봇이 된 날

AI 기업이 데이터를 모으는 동안에도 서버 비용은 누군가가 냅니다. 리눅스 커널 인프라에서는 전체 트래픽의 98%가 AI 크롤러였다는 관측까지 나왔습니다. 이제 문제는 검색 봇 몇 대에 그치지 않습니다. 웹의 비용 구조 자체가 걸려 있습니다.

트래픽 98%, 사람을 위한 서버에 사람이 없었다

git.kernel.org는 리눅스 커널 소스와 개발 이력을 제공하는 핵심 인프라입니다. 개발자들이 코드를 살펴보고 변경 사항을 추적하는 곳입니다.

그런데 이 서버로 들어온 트래픽의 98%가 AI 크롤러였다고 합니다. 사람이 보낸 요청은 사실상 소수에 불과했습니다.

AI 크롤러는 대규모 언어 모델에 넣을 코드와 문서를 수집합니다. 공개된 자료라고 해도 내려받는 과정에서 서버의 네트워크와 CPU를 사용합니다. 여러 업체가 같은 페이지를 거듭 읽으면 부담은 빠르게 커집니다.

일반 검색엔진 크롤러는 대체로 운영자의 요청을 따릅니다. robots.txt를 지키고 접속 속도도 조절합니다. 하지만 일부 AI 크롤러는 차단 규칙을 무시하거나 정체를 감춥니다. 서버 운영자에게는 무료 공개가 무제한 수집을 허용한다는 뜻으로 바뀐 셈입니다.

git.kernel.org가 선택한 방어 수단은 Anubis였습니다. 웹사이트에 접속한 쪽에 간단한 계산 문제를 풀게 하는 시스템입니다.

이런 방식을 작업증명이라고 합니다. 비트코인 채굴에도 쓰이는 개념입니다. 문제를 풀려면 계산이 필요하지만 정답을 확인하는 일은 상대적으로 쉽습니다.

일반 사용자는 페이지를 몇 번만 열기 때문에 별다른 차이를 느끼지 못합니다. 하지만 수백만 페이지를 긁는 크롤러라면 이야기가 달라집니다. 요청할 때마다 계산 비용이 붙으니 전기료와 CPU 사용량도 함께 늘어납니다.

목표는 크롤러를 완벽하게 차단하는 데 있지 않습니다. 크롤링의 경제성을 떨어뜨리려는 장치입니다. 공짜에 가까웠던 데이터 수집에 작은 통행료를 매긴 셈입니다.

하지만 봇 운영자도 가만히 있지는 않았습니다. 데이터센터 IP가 차단되자 주거용 프록시를 활용하기 시작했습니다.

주거용 프록시는 일반 가정이나 모바일 회선의 IP를 거쳐 요청을 보냅니다. 서버에서는 클라우드 사업자의 봇이 아니라 평범한 이용자가 접속한 것처럼 보입니다.

이렇게 되면 IP 차단의 정확도가 크게 떨어집니다. 의심스러운 주소를 막으려다가 실제 이용자까지 차단할 수 있기 때문입니다. 국가나 통신사 단위로 막는 방식도 오픈소스 프로젝트에는 부담스럽습니다.

작업증명 자체가 암호학적으로 깨진 것도 아닙니다. 봇이 계산 비용을 감수하면서 계속 들어온 것입니다. 정확히 말하면 방어선을 해킹한 게 아니라 비용을 지불하며 밀어붙인 것에 가깝습니다.

작업증명은 계산 부담을 방문자에게 넘깁니다. 그렇다고 서버 비용까지 사라지는 건 아닙니다.

서버는 접속할 때마다 문제를 내고 결과를 확인해야 합니다. 세션도 관리해야 합니다. 한 번의 검증은 가벼워도 요청량이 폭증하면 CPU 부하와 네트워크 비용이 다시 쌓입니다.

브라우저에서 자바스크립트를 사용할 수 없는 이용자는 접근하기 어려울 수도 있습니다. 보조기기나 오래된 기기를 쓰는 사람에게도 불편을 줄 수 있습니다. 봇을 막으려다가 사람에게 문턱을 만드는 역설입니다.

결국 운영자는 여러 신호를 함께 살펴야 합니다. 요청 속도와 행동 패턴을 보고, 인증 여부와 IP 평판도 함께 따져야 합니다. 작업증명 하나로 끝낼 수 있는 싸움이 아닙니다.

이번 사례에서 드러난 건 AI 시대의 비용 비대칭입니다. 크롤러 운영자는 수집한 데이터로 상업적 가치를 만듭니다. 하지만 저장 공간과 회선, 장애 대응 비용은 원본 사이트가 떠안습니다.

특히 오픈소스 커뮤니티는 접근성을 중요하게 여깁니다. 로그인과 유료 API를 강제하면 공개 협업이라는 철학이 흔들립니다. 그렇다고 아무 제한도 두지 않으면 인프라가 봇에게 잠식됩니다.

다만 2026년 8월 말 기준으로 최근 한 달간 확인할 수 있는 커뮤니티 논의는 매우 제한적입니다. 따라서 특정 크롤러 업체의 책임이나 방어 효과를 단정하기보다는 서버 운영 현장에서 드러난 구조적 신호로 보는 편이 타당합니다.

AI 크롤러와의 싸움은 차단 기술만으로 풀 수 있는 문제가 아닙니다. 결국 공개 데이터의 혜택을 누리는 기업이 수집 비용을 얼마나 나눠 부담할 것인지가 핵심입니다. 인터넷의 문은 계속 열어두되, 그 문을 통과하는 봇에게는 어떤 가격표를 붙여야 할까요?