이제 AI가 웹을 긁으려면 돈을 내라 — 클라우드플레어의 '통행료' 실험

지난 몇 년간 AI 회사들은 웹을 공짜 뷔페처럼 여겼습니다. 남의 글을 긁어다 모델을 학습시키고, 정작 원본을 만든 사람에게는 한 푼도 돌아가지 않았죠. 그런데 인터넷 트래픽의 상당 부분을 책임지는 클라우드플레어가 여기에 관문을 세웠습니다. AI 크롤러가 콘텐츠를 가져가려면 돈을 내라는 겁니다. 웹의 수익 구조 자체를 흔들 수 있는 실험인데요, 오늘은 이 이야기를 짚어보겠습니다.

먼저 솔직하게 밝히자면, 이번 주제는 최근 30일 커뮤니티 데이터가 매우 제한적이었습니다. 그래서 화제성 수치보다는 이 변화가 왜 중요한지, 어떤 논점이 걸려 있는지에 집중해 정리했습니다.

‘pay-per-crawl’이 뭔가요

핵심은 간단합니다. 웹사이트 앞에 요금소를 하나 세우는 겁니다. 사람이 접속하면 그냥 통과, 하지만 AI 봇이 콘텐츠를 긁으려 하면 통행료를 물리는 방식입니다.

기술적으로는 오래된 인터넷 규칙 하나를 되살립니다. 바로 HTTP 402 응답 코드입니다. 우리가 흔히 보는 ‘404 페이지 없음’은 다들 아실 텐데요, 402는 ‘Payment Required’, 즉 ‘결제가 필요함’이라는 뜻입니다. 웹 초창기에 예약만 해두고 거의 쓰이지 않던 코드였습니다. 클라우드플레어는 이 잠자던 코드를 AI 시대의 요금 청구서로 부활시킨 셈입니다.

작동 방식은 이렇습니다. AI 봇이 페이지를 요청하면 서버가 402를 돌려주며 “이 콘텐츠를 가져가려면 얼마를 내라"고 알립니다. 봇이 값을 지불하면 콘텐츠를 내주고, 거부하면 문을 닫습니다. 콘텐츠 제공자가 크롤러별로 가격을 매길 수 있는 구조입니다.

왜 지금 이걸 꺼냈을까

이유는 명확합니다. 웹의 오래된 거래가 깨졌기 때문입니다.

기존 검색 시대의 약속은 이런 것이었습니다. 검색 엔진이 내 글을 긁어가는 대신, 검색 결과에 내 사이트를 노출시켜 방문자를 보내준다. 트래픽이 곧 광고 수익이었으니 서로 남는 장사였죠.

그런데 AI 답변 엔진은 이 약속을 지키지 않습니다. 사용자의 질문에 AI가 직접 답을 만들어주니, 원본 사이트를 클릭할 이유가 사라집니다. 콘텐츠는 학습에 쓰이는데 방문자는 오지 않는, 일방적인 착취에 가까운 구조가 된 겁니다. 크리에이터 입장에서는 재료만 뺏기고 손님은 못 받는 셈입니다.

클라우드플레어의 논리는 여기서 출발합니다. 트래픽으로 보상하지 못한다면, 돈으로 보상하라는 것입니다.

클라우드플레어라서 가능한 이유

이 아이디어 자체는 새롭지 않습니다. “AI한테 돈 받자"는 말은 누구나 할 수 있죠. 문제는 실행력입니다.

클라우드플레어가 특별한 건 위치 때문입니다. 이 회사는 전 세계 수많은 웹사이트의 트래픽이 지나가는 길목에 서 있습니다. 즉 사이트 하나하나가 개별적으로 봇을 막거나 요금을 매길 필요 없이, 클라우드플레어라는 관문에서 한꺼번에 처리할 수 있습니다.

봇을 식별하고 걸러내는 능력도 이미 갖고 있습니다. 어떤 요청이 진짜 사람이고 어떤 것이 AI 크롤러인지 구분하는 건 이 회사의 본업에 가깝습니다. 여기에 결제 정산 기능만 얹으면, 개별 사이트가 꿈만 꾸던 ‘요금소’가 인프라 차원에서 현실이 됩니다. 진입 장벽이 낮은 개인 블로거도 체크박스 하나로 참여할 수 있게 되는 구조입니다.

장밋빛이라고 보기엔 이른 이유

물론 냉정하게 볼 지점도 많습니다.

첫째, 가격입니다. 콘텐츠 한 번 긁는 데 얼마가 적정한지 아무도 모릅니다. 너무 비싸면 AI 회사가 그냥 무시하고 지나갈 테고, 너무 싸면 크리에이터에게 의미 있는 수익이 되지 못합니다. 시장이 형성되기 전까지는 혼란이 불가피합니다.

둘째, 우회 가능성입니다. AI 회사가 봇을 사람인 척 위장하거나, 클라우드플레어를 거치지 않는 경로를 찾으면 요금소는 무력해집니다. 결국 창과 방패의 싸움이 될 수 있습니다.

셋째, 힘의 집중입니다. 웹의 통행료를 특정 인프라 회사 한 곳이 관리한다는 건, 그만큼 그 회사에 권력이 쏠린다는 뜻이기도 합니다. 콘텐츠 유통의 새로운 문지기가 탄생하는 셈이니, 마냥 반길 일만은 아닙니다.

넷째, AI 회사들이 순순히 협조할지도 미지수입니다. 지금껏 공짜로 쓰던 것에 돈을 내라고 하면 반발이 없을 리 없죠. 소송으로 갈지, 협상 테이블에 앉을지는 지켜봐야 합니다.

마무리

이번 시도의 진짜 의미는 요금 액수가 아니라 질서의 전환에 있습니다. 지금까지 웹의 기본값은 ‘긁어가도 괜찮음’이었습니다. 클라우드플레어는 그 기본값을 ‘허락과 대가가 필요함’으로 바꾸려 하고 있습니다.

이게 자리를 잡는다면, 콘텐츠를 만드는 사람들이 AI 시대에도 최소한의 몫을 챙길 수 있는 길이 열립니다. 반대로 실패한다면, 무단 학습은 그대로 굳어질 겁니다. 여러분은 어떻게 보시나요. AI가 내 글을 배우는 대가로 돈을 낸다면, 그 돈은 과연 창작자에게 제대로 흘러갈까요.