내 사이트 방문자의 99%가 봇이었습니다 — AI 크롤러와 1년 싸운 웹마스터의 기록

웹사이트를 운영하는 분이라면 한 번쯤 서버 로그를 열어봤을 겁니다. 그리고 최근 1~2년 사이 그 로그가 이상해졌다는 걸 느끼셨을지도 모릅니다. 요청은 폭증하는데 실제 사람은 늘지 않는 기묘한 현상 말입니다. 150만 페이지 규모의 사이트를 운영하던 어느 웹마스터가 1년간 로그를 뜯어본 결과는 충격적이었습니다. 전체 트래픽의 99%가 사람이 아니었습니다.

먼저 솔직하게 짚고 갑니다. 이번 주제는 최근 30일 커뮤니티 데이터에서 관련 논의를 확보하지 못했습니다. 그래서 이 글은 신선한 커뮤니티 반응 인용보다는, 지난 1~2년간 웹 인프라 업계에 쌓인 흐름과 구조적 논리를 중심으로 풀어보겠습니다.

99%라는 숫자가 실제로 의미하는 것

99%라는 수치는 언뜻 과장처럼 들립니다. 그런데 계산해보면 오히려 자연스럽습니다.

사람 방문자 한 명은 사이트에 들어와서 평균 2~3개 페이지를 봅니다. 크롤러 한 대는 사이트 전체를 훑습니다. 150만 페이지짜리 사이트라면 한 번의 완전 크롤링에 150만 요청이 발생합니다. 여기에 AI 회사가 열 곳만 있어도 1,500만 요청입니다. 게다가 이들은 한 번만 오지 않습니다. 콘텐츠가 업데이트됐는지 확인한다며 주기적으로 돌아옵니다.

사람 방문자가 하루 1만 명이고 페이지뷰가 3만이라고 해봅시다. 크롤러가 만드는 300만 요청 앞에서 이 3만은 1%입니다. 비율이 극단적으로 보이는 이유는 봇이 갑자기 사악해져서가 아닙니다. 사람과 기계가 콘텐츠를 소비하는 방식이 애초에 다르기 때문입니다.

핵심은 여기입니다. 서버 비용은 요청 수에 비례합니다. 수익은 사람 수에 비례합니다. 이 두 축이 100배 차이로 벌어지면, 웹사이트라는 사업 모델 자체가 성립하지 않습니다.

robots.txt는 왜 더 이상 작동하지 않는가

“robots.txt로 막으면 되지 않나요?“라는 질문이 나옵니다. 여기서 웹의 오래된 신사협정이 깨진 지점이 드러납니다.

robots.txt는 1994년에 만들어진 규약입니다. 법적 구속력이 없습니다. 강제 기술도 없습니다. 그저 “우리 사이트는 이런 걸 크롤링하지 말아주세요"라고 적어둔 종이 한 장입니다. 30년간 이게 작동했던 건 참여자가 소수의 검색엔진이었고, 그들에게는 지킬 이유가 있었기 때문입니다. 구글은 크롤링의 대가로 트래픽을 돌려줬습니다. 거래가 성립했던 겁니다.

AI 크롤러는 이 거래를 하지 않습니다. 콘텐츠를 가져가지만 트래픽은 돌려주지 않습니다. 챗봇이 답변에 요약을 넣어주면, 사용자는 원본 사이트에 갈 이유가 없어집니다. 주는 것만 있고 받는 것이 없는 구조입니다.

더 골치 아픈 건 우회입니다. 웹마스터들이 반복적으로 보고한 패턴은 대략 이렇습니다. 정직하게 자기 이름을 밝히는 봇을 차단하면, 얼마 뒤 정체를 숨긴 요청이 늘어납니다. User-Agent를 일반 브라우저로 위장하고, 주거용 IP 대역을 거쳐 들어오고, 요청 간격을 사람처럼 흩뿌립니다. 차단하는 쪽과 뚫는 쪽의 군비 경쟁입니다. 그리고 이 경쟁의 비용은 압도적으로 방어하는 쪽이 큽니다.

그래서 웹은 유료 관문으로 이동하고 있습니다

인프라 업계는 이 상황에 대응할 방향을 이미 잡았습니다. 차단이 아니라 과금입니다.

Cloudflare가 2025년 7월부터 신규 도메인의 AI 크롤러를 기본 차단으로 돌린 것이 전환점이었습니다. 이전까지 웹의 기본값은 “허용"이었습니다. 막고 싶으면 사이트 주인이 직접 설정해야 했습니다. 이제 기본값이 뒤집혔습니다. 크롤링하고 싶으면 AI 회사가 먼저 문을 두드려야 합니다. 여기에 요청 단위로 값을 매기는 페이-퍼-크롤 방식이 실험되고 있습니다.

이건 단순한 정책 변경이 아닙니다. 웹이 30년간 유지해온 “누구나 공짜로 읽을 수 있다"는 전제를 다시 쓰는 일입니다.

동시에 콘텐츠 소유자들의 계산도 바뀌었습니다. 레딧은 데이터를 라이선스 계약으로 팔기 시작했습니다. 뉴스 기업들은 소송과 계약 사이를 오가고 있습니다. 스택오버플로는 트래픽이 무너지는 걸 지켜봤습니다. 각자 다른 결론에 도달했지만, 출발점의 인식은 같습니다. 우리 콘텐츠는 공짜가 아니었다는 겁니다.

개인 사이트 운영자에게 남는 것

문제는 이 새 질서에서 개인 블로거와 소규모 사이트 운영자가 낄 자리가 애매하다는 점입니다.

레딧이나 뉴욕타임스는 협상 테이블에 앉을 수 있습니다. 데이터 규모가 협상력이니까요. 개인 사이트는 그럴 힘이 없습니다. 남는 선택지는 세 가지 정도입니다. Cloudflare 같은 인프라 뒤에 숨거나, 서버 비용을 감당하며 버티거나, 로그인 뒤로 콘텐츠를 숨기는 겁니다.

세 번째가 특히 씁쓸합니다. 공개 웹에 좋은 글을 올려도 읽는 건 크롤러뿐이라면, 그 글을 왜 공개 웹에 올릴까요. 자연스럽게 디스코드로, 뉴스레터로, 폐쇄된 커뮤니티로 이동하게 됩니다. 실제로 지난 몇 년간 양질의 기술 논의가 검색 가능한 웹에서 사라지고 닫힌 공간으로 옮겨간 흐름이 이걸 뒷받침합니다.

여기에 AI 회사들에게도 부메랑이 돌아옵니다. 학습 데이터의 원천이 마르는 겁니다. 공개 웹의 인간 생성 콘텐츠가 줄어들면 다음 세대 모델이 학습할 재료도 줄어듭니다. 지금의 크롤링 방식은 밭을 갈면서 씨앗까지 먹는 셈입니다.

로그를 한 번 열어보시죠

99%라는 숫자에서 진짜 무서운 건 비율이 아닙니다. 웹이라는 공간이 사람을 위한 곳에서 기계를 위한 곳으로 조용히 바뀌었다는 사실입니다. 우리는 여전히 사람이 읽을 거라 가정하고 글을 쓰지만, 통계는 다른 이야기를 하고 있습니다.

혹시 사이트를 운영하신다면 오늘 서버 로그를 한 번 열어보시기 바랍니다. 방문자 수 말고 요청 수를, 그리고 User-Agent 분포를 보시면 됩니다. 그 숫자가 몇 대 몇으로 나오는지가, 앞으로 여러분이 웹에 무엇을 어떻게 올릴지를 결정하게 될 겁니다. 여러분은 계속 공개 웹에 쓰시겠습니까, 아니면 문을 걸어 잠그시겠습니까.