구글 검색이 못 미더워진 개발자들, 결국 '나만의 색인'을 만들기 시작했습니다

“분명히 어디서 읽었는데, 못 찾겠어요.”

요즘 개발자 커뮤니티에서 제일 자주 보이는 하소연입니다. 6개월 전에 읽은 그 블로그 글, 그 이슈 코멘트, 그 문서 한 줄. 기억은 분명한데 검색창에 아무리 키워드를 넣어도 안 나옵니다. 대신 나오는 건 제목만 그럴듯한 AI 생성 요약글 스무 개죠. 그래서 몇몇은 아예 방향을 틀었습니다. 인터넷 전체를 검색하겠다는 생각을 접고, 자기가 이미 읽은 것만 뒤지는 색인을 직접 만들기 시작한 겁니다.

검색이 아니라 재검색이 망가졌습니다

사람들이 불평하는 건 “새로운 걸 찾는” 검색이 아닙니다. 그건 여전히 그럭저럭 돌아갑니다. 망가진 건 다시 찾기입니다.

정보검색 분야에선 이걸 리파인딩(re-finding)이라고 부릅니다. 한 번 본 걸 다시 꺼내오는 행위죠. 연구자들 추정으로는 사람들의 검색 행위 중 상당 부분이 여기 해당합니다. 그런데 이 리파인딩이 유독 취약합니다. 우리가 기억하는 게 정확한 제목이 아니라 느낌이거든요. “리눅스 커널 스케줄러 관련이었고, 그래프가 하나 있었고, 저자가 좀 냉소적이었던 글.” 이런 기억에서는 구글에 넣을 키워드가 안 나옵니다.

그래도 예전엔 됐습니다. 웹이 좁았으니까요. “kernel scheduler latency benchmark"를 넣으면 그 글이 3위 안에 떴습니다. 지금은요? 같은 키워드로 검색하면 그 글을 요약하고, 재요약하고, 재요약한 걸 또 요약한 페이지가 먼저 나옵니다. 원본은 5페이지 뒤로 밀려나 있거나 아예 사라졌고요.

AI 슬롭이라는 새로운 배경 소음

‘AI 슬롭’(AI slop)이라는 말이 커뮤니티에 자리를 잡았습니다. 생성형 AI로 대량으로 찍어낸, 틀리지도 맞지도 않은 어중간한 콘텐츠를 가리키는 표현입니다.

이게 스팸과 다르다는 게 문제입니다. 옛날 스팸은 티가 났습니다. 키워드가 부자연스럽게 반복되고 문법이 깨져 있고 링크가 이상했죠. 검색엔진이 걸러내기 쉬웠습니다. 그런데 AI 슬롭은 문법이 완벽합니다. 구조도 깔끔하고 소제목도 잘 달려 있고 목록도 정돈돼 있습니다. 기계가 보기엔 좋은 글인데 사람이 읽으면 아무 내용이 없습니다.

랭킹 알고리즘 입장에선 최악입니다. 품질 신호로 쓰던 지표가 죄다 무력화됐거든요. 문장 길이, 구조적 완결성, 주제 일관성. 전부 AI가 더 잘합니다. 그래서 검색 결과 상단이 서서히 잠식됩니다. 어느 날 갑자기가 아니라 몇 달에 걸쳐 조금씩요.

여기에 웹 자체가 닫히는 흐름이 겹칩니다. 콘텐츠 소유자들이 AI 학습을 막으려고 크롤러를 차단하기 시작했습니다. 그런데 이 차단은 학습 크롤러만 막지 않습니다. 아카이빙 봇, 소규모 검색엔진, 개인 도구도 같이 막힙니다. 공개 웹에서 접근할 수 있는 원본 문서의 비율이 계속 줄어드는 겁니다.

그래서 나온 대안, 내가 읽은 것만 담는 색인

이 맥락에서 나온 게 개인 전문 검색 색인입니다. Hister 같은 도구가 대표적인 사례로 거론되는데, 발상은 아주 단순합니다.

브라우저 확장이 방문한 페이지의 본문 전체를 로컬 데이터베이스에 저장합니다. URL과 제목만 남기는 브라우저 기본 히스토리와 갈리는 지점이 여기입니다. 텍스트를 통째로 갖고 있으니 전문 검색이 됩니다. “그 글에 나왔던 그 문장"으로 검색이 되는 거죠. 서버는 자기 컴퓨터나 홈랩에 띄웁니다. 데이터가 밖으로 나가지 않습니다.

우선 신호 대 잡음비가 비교가 안 됩니다. 색인에 들어 있는 문서는 전부 내가 실제로 클릭해서 읽은 것들입니다. 이미 한 번 필터링을 통과했죠. AI 슬롭이 들어갈 여지가 거의 없습니다. 100만 개 문서에서 좋은 걸 골라내는 문제가 5천 개 문서에서 원하는 걸 찾는 문제로 바뀝니다. 후자가 훨씬 쉽습니다.

링크가 썩어도 내용이 남는다는 것도 큽니다. 링크 부패(link rot)는 생각보다 심각합니다. 도메인이 만료되고 회사가 문을 닫고 블로그 플랫폼이 서비스를 종료합니다. 내가 저장해둔 사본이 있으면 원본이 사라져도 읽을 수 있습니다.

결과에 광고나 랭킹 조작이 끼지 않는 것도 있고요. 누가 SEO에 돈을 얼마나 썼는지가 순서에 영향을 주지 않습니다. 그냥 텍스트 매칭과 시간순입니다.

그런데 왜 아직 다들 안 쓰고 있을까요

낭만적인 아이디어지만, 실제로 굴려본 사람들이 지적하는 문제도 만만치 않습니다.

저장 용량부터 봅시다. 텍스트만 저장하면 생각보다 작습니다. 하루 100페이지씩 읽어도 1년에 몇 백 메가바이트 수준입니다. 그런데 이미지와 CSS까지 포함한 완전한 스냅샷을 원하면 얘기가 달라집니다. 페이지당 수 메가바이트가 됩니다. 여기서 대부분의 도구가 타협합니다. 본문 텍스트만 남기고 나머지는 버립니다.

보안은 더 골치 아픕니다. 모든 페이지를 저장한다는 건 은행 잔고 화면도, 사내 위키도, 의료 기록도 저장한다는 뜻입니다. 이 데이터베이스가 유출되면 브라우저 히스토리 유출과는 피해 규모가 다릅니다. 그래서 도메인 차단 목록, 시크릿 모드 제외, 로컬 암호화 같은 장치가 필수인데, 이게 제대로 설정돼 있는지는 결국 사용자가 직접 챙겨야 합니다.

운영 부담도 무시 못 합니다. 셀프호스팅이란 백업도 업데이트도 장애 대응도 전부 자기 몫이라는 뜻이니까요. 커뮤니티에서 반복적으로 나오는 냉소적인 지적이 있습니다. “몇 년 뒤에 결국 방치되고, 어느 날 디스크가 죽으면 아카이브도 같이 죽는다"는 겁니다. 실제로 개인 위키, 개인 북마크 시스템, 노트 앱이 이런 식으로 수없이 사라졌습니다.

진짜 논점은 ‘누가 색인을 갖느냐’입니다

지난 20년 동안 우리는 기억을 아웃소싱해왔습니다. 뭘 저장할 필요가 없었습니다. 검색하면 나왔으니까요. 브라우저 히스토리가 부실해도 상관없었습니다. 구글이 사실상 우리의 외장 기억장치였습니다.

그 전제가 흔들립니다. 웹이 넓어지고, 저품질 콘텐츠가 늘고, 크롤링이 막히고, 검색 사업 모델이 광고와 AI 답변 쪽으로 기울면서요. 공용 색인의 품질이 내 필요에 맞게 유지된다는 보장이 사라졌습니다.

개인 색인은 그 보장을 자기가 직접 만들겠다는 겁니다. 규모는 포기하는 대신 통제권을 가져옵니다. 인터넷 전체를 검색하진 못해도 최소한 내가 읽은 건 언제든 다시 꺼낼 수 있게요.

재미있는 건 여기서 AI를 배척할 필요가 없다는 점입니다. 오히려 반대죠. 개인 색인 위에 검색증강생성(RAG)을 얹으면 꽤 쓸 만해집니다. 믿을 수 있는 문서만 담긴 작은 코퍼스에 질문을 던지는 구조니까요. AI 슬롭 때문에 만든 아카이브가 AI의 가장 좋은 재료가 되는 셈입니다.

오늘의 시사점

이번 주제는 커뮤니티 데이터 수집 결과가 빈약했습니다. 지난 30일간 관련 논의를 충분히 확보하지 못했습니다. 그러니 위 내용은 이 흐름을 둘러싼 구조적 맥락과 그동안 반복적으로 제기돼온 쟁점을 정리한 것으로 봐주시면 좋겠습니다. 특정 도구의 실사용 반응이나 정확한 화제성 수치는 담지 못했습니다.

그래도 방향은 분명합니다. 검색이 예전만 못하다는 체감은 개인의 착각이 아니라 여러 구조적 변화가 겹친 결과입니다. 그 대응으로 나온 게 ‘작지만 내가 통제하는 색인’이라는 아이디어고요.

시작은 별거 없어도 됩니다. 오늘 읽은 좋은 글 하나를 텍스트로 남겨두는 것으로 충분합니다. 6개월 전에 읽은 그 글, 지금 다시 찾을 수 있으신가요?