AI 스크래퍼가 당신의 집 IP로 위장한다 — 오픈소스를 초토화하는 스크래핑 군비경쟁

요즘 오픈소스 프로젝트 운영자들 사이에서 곡소리가 끊이질 않습니다. 자기 서버가 갑자기 트래픽 폭탄을 맞는데, 범인을 찾아보니 AI 회사들의 크롤러였다는 겁니다. 문제는 이걸 막으려고 해도 막을 수가 없다는 데 있습니다. 스크래퍼가 데이터센터 IP가 아니라 평범한 가정집 IP로 위장해서 들어오기 때문입니다.

왜 하필 ‘가정용 IP’인가

먼저 배경부터 짚어야 합니다. 웹사이트가 봇을 걸러내는 가장 기본적인 방법은 IP 주소를 보는 겁니다. 아마존 AWS나 구글 클라우드 같은 데이터센터에서 나오는 트래픽은 십중팔구 자동화된 봇입니다. 진짜 사람이 집 소파에서 클라우드 서버로 웹서핑을 하진 않으니까요.

그래서 운영자들은 오랫동안 데이터센터 IP 대역을 통째로 차단하는 식으로 방어해 왔습니다. 간단하고 효과적이었죠.

그런데 여기서 residential proxy, 즉 가정용 프록시가 등장합니다. 이건 실제 가정집에서 쓰는 인터넷 회선의 IP를 빌려 쓰는 서비스입니다. KT나 SK브로드밴드에 가입한 어느 집의 IP를 경유해서 스크래핑 요청을 날리는 겁니다. 받는 입장에서는 “아, 서울 어느 아파트에서 접속한 진짜 사용자구나” 하고 통과시킬 수밖에 없습니다.

그 ‘집 IP’는 어디서 나오는가

여기서 불편한 진실이 나옵니다. 이 수백만 개의 가정용 IP는 대체 어떻게 조달되는 걸까요.

상당수는 무료 VPN 앱, 공짜 게임, 각종 유틸리티 프로그램에 딸려 들어옵니다. 사용자가 무심코 설치한 앱이 백그라운드에서 자기 인터넷 회선을 프록시 네트워크에 빌려주는 겁니다. 약관 어딘가에 깨알같이 적혀 있긴 하지만, 이걸 제대로 읽고 동의하는 사람은 거의 없습니다.

결과적으로 당신의 집 인터넷이 나도 모르는 사이에 AI 스크래핑의 경유지로 쓰이고 있을 수 있다는 얘기입니다. 남의 서버를 두드리는 요청이 내 IP를 달고 나가는 셈이죠. 프록시 업체는 이걸 “합법적인 데이터 수집 인프라"라고 포장하지만, 본질은 회색지대입니다.

오픈소스가 첫 번째 희생양이 되는 이유

왜 하필 오픈소스 프로젝트들이 이 군비경쟁의 최전선에서 갈려 나가고 있을까요.

첫째, 오픈소스 코드 저장소와 문서는 AI 학습 데이터로서 가치가 큽니다. 깨끗하게 정리된 코드, 이슈 트래커의 문답, 위키 문서는 코딩 AI를 훈련시키기에 최고의 재료입니다. 그러니 크롤러들이 벌떼처럼 몰려듭니다.

둘째, 오픈소스 인프라는 대체로 자원이 부족합니다. 자원봉사자들이 기부금이나 사비로 서버를 운영하는 경우가 많습니다. 상업 사이트라면 클라우드플레어 같은 유료 방어 솔루션을 붙이면 되지만, 후원금으로 겨우 굴러가는 프로젝트는 그럴 여유가 없습니다. GNOME, KDE, 각종 리눅스 배포판 미러 서버들이 크롤러 트래픽 때문에 몸살을 앓는다는 하소연이 개발자 커뮤니티에 꾸준히 올라오는 이유입니다.

셋째, 이 트래픽은 단순히 성가신 수준이 아니라 실제 비용입니다. 대역폭 요금이 나가고, 서버가 느려지고, 정작 진짜 사용자와 기여자들이 사이트를 제대로 못 씁니다. 공공재를 갉아먹는 무임승차인 셈입니다.

막으려는 쪽도 지쳐간다

방어하는 입장에서 쓸 수 있는 카드가 없는 건 아닙니다. robots.txt로 크롤러를 정중히 거절할 수 있고, 접속 빈도를 제한하는 rate limiting을 걸 수도 있습니다. 요청마다 가벼운 연산 퍼즐을 풀게 해서 봇의 비용을 높이는 ‘프루프 오브 워크’ 방식의 방어 도구도 최근 주목받고 있습니다.

하지만 근본적인 문제가 있습니다. residential proxy 앞에서는 “이게 봇인지 사람인지” 구분하는 것 자체가 거의 불가능에 가깝다는 점입니다. IP도 진짜, 지역도 진짜, 브라우저 지문도 진짜처럼 꾸며서 들어오면 남는 방법은 행동 패턴 분석 정도인데, 이건 돈과 기술이 많이 듭니다. 결국 돈 있는 쪽이 이기는 싸움으로 흘러갑니다.

그리고 이건 전형적인 군비경쟁입니다. 방어 기술이 하나 나오면 스크래퍼가 우회하고, 다시 새 방어가 나오면 또 뚫립니다. 그 사이에서 지쳐 나가떨어지는 건 자원이 없는 작은 프로젝트들입니다.

마무리

정리하면, AI 시대의 데이터 굶주림이 residential proxy라는 회색지대 인프라와 만나면서, 웹의 공공재인 오픈소스가 조용히 무너지고 있습니다. 내 집 인터넷이 나도 모르게 이 스크래핑 사슬의 한 고리가 되어 있을 수도 있고요.

한 가지 짚어둘 점은, 이번 주제는 최근 30일 커뮤니티 데이터가 거의 잡히지 않아 그동안 개발자 생태계에서 누적된 흐름을 바탕으로 정리했다는 겁니다. 그만큼 조용히, 그러나 꾸준히 진행되는 문제라는 뜻이기도 합니다.

질문을 하나 던지고 싶습니다. AI가 세상의 모든 데이터를 학습하려면 누군가는 그 데이터를 만들고 서버를 운영해야 합니다. 그 비용을 정작 데이터를 긁어가는 쪽이 아니라, 아무 대가 없이 공개한 오픈소스 커뮤니티가 떠안는 지금의 구조, 과연 지속 가능할까요.