AI가 웹을 먹어치우는 동안, 인터넷은 기억을 잃고 있습니다

10년 전에 북마크해둔 블로그 글을 다시 열어본 적 있으신가요. 열에 서넛은 404가 뜹니다. 그런데 요즘은 사라지는 방식이 좀 다릅니다. 페이지는 멀쩡히 살아 있는데 아무도 거기까지 가지 않습니다. AI가 대신 읽고 요약해주니까요. 인터넷이 기억을 잃는 방식이 바뀌었습니다.

이 주제로 최근 한 달 커뮤니티 반응을 훑어봤는데 새로울 게 거의 없었습니다. 웹이 조용히 사라진다는 문제인데 논의마저 조용히 지나갑니다.

링크 부패는 이미 오래된 병입니다

이 분야에서는 아직도 퓨리서치센터가 2024년에 내놓은 조사를 기준으로 삼습니다. 2013년에 존재하던 웹페이지의 38%가 2023년에는 접속되지 않았습니다. 2013년 한 해로 좁히면 더 나쁩니다. 그해 만들어진 페이지의 약 4분의 1이 10년을 못 버텼습니다.

정부 사이트도 예외가 아닙니다. 미국 연방정부 웹페이지의 21%에 깨진 링크가 최소 하나씩 들어 있었습니다. 뉴스 사이트는 23%가 그랬고요. 위키피디아 영문판 참고문헌 중 11%는 이제 존재하지 않는 페이지를 가리킵니다. 인용은 남았는데 근거가 증발했습니다.

옛날 웹만의 문제가 아닙니다. 지금도 썩고 있습니다. 오늘 여러분이 링크로 걸어둔 그 자료도 통계적으로는 10년 뒤 3분의 1 확률로 사라집니다.

AI 요약이 원본에서 발길을 끊습니다

여기에 변수가 하나 더 붙었습니다. 검색하면 결과 맨 위에서 AI가 답부터 정리해줍니다.

퓨리서치센터는 2025년 3월 미국 성인 900명이 실제로 어떻게 검색하는지 추적했습니다. AI 요약이 뜬 검색에서 사용자가 일반 링크를 클릭한 비율은 8%였습니다. AI 요약이 없는 검색에서는 15%였고요. 거의 반토막입니다. AI 요약 안에 붙은 출처 링크를 누른 비율은 더 처참합니다. 1%입니다.

숫자를 뒤집어 보겠습니다. AI가 요약해주면 100명 중 1명만 원본을 확인합니다. 나머지 99명에게 그 원본은 없는 것이나 마찬가지입니다.

콘텐츠를 만드는 쪽에서 나오는 숫자도 비슷합니다. 여러 퍼블리셔가 2024년 말부터 검색 유입 트래픽이 절반 가까이 빠졌다고 보고했고, 일부 정보성 사이트는 낙폭이 그보다 컸습니다. 트래픽이 사라지면 광고 수익이 사라지고, 수익이 사라지면 사이트가 문을 닫습니다. 문 닫은 사이트의 페이지도 같이 사라집니다.

크롤러 대 인간, 기울어진 저울

얄궂은 통계가 하나 더 있습니다. 클라우드플레어가 공개한 데이터를 보면 AI 크롤러가 사이트를 긁어가는 횟수와 그 AI를 거쳐 실제 사람이 그 사이트를 찾아오는 횟수의 비율이 회사마다 극단적으로 벌어져 있습니다. 한쪽에서 수천 번 긁어가는 동안 사람은 한 번 옵니다.

예전 거래는 단순했습니다. 검색엔진이 내 사이트를 긁어가는 대신 방문자를 보내줬습니다. 크롤링을 내주고 트래픽을 받았고, 웹은 그 균형 위에서 돌아갔습니다.

지금은 한쪽만 계속 가져갑니다. 그래서 많은 사이트가 로그인 벽을 세우고 유료화를 하고 robots.txt로 문을 걸어 잠급니다. 이해할 만한 방어입니다. 다만 부작용이 있습니다. 크롤러를 막는 문은 아카이브 봇도 같이 막습니다. AI한테서 콘텐츠를 지키려는 조치가 그 콘텐츠를 미래에 남길 마지막 통로까지 닫아버립니다.

아카이브라는 얇은 방파제

인터넷 아카이브가 있으니 괜찮지 않냐고 하실 수 있습니다. 웨이백 머신은 9,000억 개가 넘는 웹페이지 스냅샷을 보관합니다. 인류가 만든 도서관 중에 손꼽히게 큽니다.

그런데 이 도서관이 놀랄 만큼 위태롭습니다. 인터넷 아카이브는 비영리단체 하나가 운영합니다. 2024년 10월에는 대규모 해킹으로 3,100만 건의 계정 정보가 유출되고 서비스가 며칠간 멈췄습니다. 출판사들과 벌인 소송에서도 패소했고요. 웹 전체의 기억을 단체 하나의 재정 상태와 법적 운명에 걸어놨습니다.

기술적 한계도 있습니다. 아카이브가 잘 보존하는 건 정적인 HTML 문서입니다. 로그인 뒤에 있는 내용이나 자바스크립트로 그려지는 화면, 알고리즘이 사람마다 다르게 보여주는 피드는 제대로 안 남습니다. 지난 15년간 웹에서 오간 대화의 상당 부분이 하필 그런 곳에 있었습니다.

진짜 무서운 건 ‘조용한 소실’입니다

404는 차라리 정직합니다. 없어졌다고 알려주니까요.

더 위험한 쪽은 페이지가 살아 있는데 아무도 거기 닿지 못하는 경우입니다. 검색에서 밀려나고 AI 요약에 흡수되고 링크 거는 사람까지 없어지면, 그 페이지는 기술적으로 존재하되 실질적으로는 사라집니다. 어떤 통계에도 안 잡힙니다. 서버 로그에만 남습니다.

여기서 한 겹 더 들어갑니다. AI는 웹에서 배우고 그 결과물이 다시 웹에 올라가고 다음 세대 AI가 그걸 또 학습합니다. 원본이 사라진 자리를 요약본의 요약본이 채웁니다. 이 과정에서 소수 의견과 세부 사항, 맥락, 예외 사례가 먼저 깎여 나갑니다. 그렇게 평균값만 남은 기억이 됩니다.

우리가 지금 할 수 있는 것

거창한 대안은 저도 없습니다. 개인이 할 수 있는 일은 몇 가지 있습니다.

중요한 자료는 링크만 걸지 말고 웨이백 머신에 스냅샷을 하나 남겨두세요. 30초면 됩니다. 인용할 때 원문 링크와 아카이브 링크를 같이 적어두면 10년 뒤의 누군가가 고마워할 겁니다. 정말 아끼는 글은 PDF든 텍스트든 로컬에 저장해두시고요. 클라우드도 사라집니다.

그리고 AI가 정리해준 답이 그럴듯할수록 출처를 한 번쯤 눌러보시길 권합니다. 그 클릭 하나가 원본 사이트를 살리는 표입니다.

인터넷은 원래 ‘모든 것이 영원히 남는 곳’이라고 배웠습니다. 실제로는 정반대에 가까웠고, 이제 AI가 그 망각에 속도를 붙였습니다. 20년 뒤에 2026년의 웹을 돌아보면 뭐가 남아 있을까요. 아마 그때 누군가 저장 버튼을 눌러둔 것들만 남아 있을 겁니다.