구글 검색 순위 대신 챗봇의 입을 산다: 가짜 싱크탱크가 AI를 조련하는 법

예전에는 여론을 움직이려면 신문 1면을 사거나 검색 결과 첫 페이지를 점령해야 했습니다. 지금은 사람들이 궁금한 걸 검색창이 아니라 챗봇에 묻습니다. 공작의 표적도 따라 바뀌었습니다. 기자도 검색엔진도 아닌 언어모델의 입이 목표입니다.

먼저 솔직하게 짚고 갑니다. 이 주제와 맞물리는 커뮤니티 스레드는 최근 30일 데이터에 사실상 없었습니다. 그래서 이 글은 개별 사건의 속보 중계가 아니라, 이런 유형의 공작이 기술적으로 왜 가능한지 뜯어보는 구조 분석에 가깝습니다. 특정 국가의 특정 작전을 두고 단정하지는 않겠습니다. 확인되지 않은 걸 확인된 것처럼 쓰는 순간, 저도 똑같은 문제의 일부가 되니까요.

SEO는 죽지 않았습니다, 대상만 바뀌었을 뿐

검색엔진 최적화는 20년간 하나의 산업이었습니다. 키워드를 심고 백링크를 사고 콘텐츠 팜을 돌려서 순위를 올렸습니다. 구글은 그걸 잡으려고 알고리즘을 수십 번 뒤집었고요.

그런데 언어모델은 순위를 매기지 않습니다. 대신 답변 하나를 내놓습니다. 사용자는 열 개의 링크 중에서 고르는 게 아니라 챗봇이 요약해준 한 문단을 그냥 읽습니다. 이게 결정적인 차이입니다. 검색에서 3위는 그래도 클릭될 여지가 있지만, AI 답변에 2등 자리는 없습니다.

그래서 새로운 용어가 생겼습니다. GEO(생성형 엔진 최적화), AEO(답변 엔진 최적화). 마케터가 만든 말인데 하는 일은 분명합니다. 모델이 어떤 주제를 이야기할 때 우리 브랜드를 입에 올리게 만드는 것. 여기까지는 그냥 마케팅입니다. 문제는 같은 기법을 국가 단위 행위자가 집어들 때 생깁니다.

LLM 그루밍: 사람이 아니라 모델을 속인다

보안 연구자들이 쓰는 말 중에 ‘LLM 그루밍’이라는 게 있습니다. 모델을 겨냥해 웹을 오염시키는 행위를 가리킵니다. 발상은 단순합니다.

사람은 못 믿을 사이트를 걸러냅니다. 도메인이 이상하고 디자인이 조악하고 저자 프로필이 비어 있으면 뒤로가기를 누르죠. 그런데 크롤러는 그런 판단을 잘 하지 않습니다. 텍스트를 모으고 중복을 걷어내고 품질 필터만 통과하면 학습 데이터가 됩니다. 검색 증강 생성(RAG) 파이프라인은 더 허술합니다. 실시간으로 웹을 긁어와 그대로 근거로 삼으니까요.

여기서 공격자의 계산이 나옵니다. 사람 100만 명을 설득하는 것보다 학습 파이프라인 하나를 속이는 게 훨씬 쌉니다. 게다가 성공하면 그 모델을 쓰는 수억 명에게 자동으로 배포됩니다. 레버리지가 비교가 안 됩니다.

왜 하필 ‘싱크탱크’라는 껍데기인가

가짜 계정 1만 개를 만들어 트윗을 뿌리는 건 이제 잘 걸립니다. 플랫폼이 봇 탐지에 돈을 많이 썼거든요. 반면 연구기관을 흉내 내는 방식은 탐지 난이도가 완전히 다릅니다.

그럴듯한 이름을 단 연구소 웹사이트를 만듭니다. 정책 보고서 PDF를 올리고 존재하지 않는 연구원의 프로필과 사진을 붙입니다. 생성형 AI 덕분에 이 모든 게 며칠이면 끝납니다. 그다음 지역 매체나 논평 사이트에 그 보고서를 인용한 기사를 뿌립니다. 이제 그 주장은 ‘한 곳에서만 나온 이야기’가 아닙니다. 여러 출처가 서로를 인용하는 모양새가 됩니다.

모델 입장에서 이건 신호입니다. 여러 문서에서 반복되고 서로 인용하고 학술적 문체로 쓰여 있으니까요. 언어모델은 진위를 검증하지 않습니다. 통계적 빈도와 문맥적 권위를 학습할 뿐입니다. 인용 네트워크를 조작하면 권위도 조작됩니다.

이게 기존 가짜뉴스와 갈라지는 지점입니다. 예전 공작은 사람의 클릭을 노렸습니다. 지금 공작은 기계의 신뢰를 노립니다.

극소량으로도 뚫린다는 불편한 연구 결과

“인터넷 전체에 비하면 웹사이트 몇 개가 무슨 영향이 있겠나” 싶으실 겁니다. 저도 그렇게 생각했습니다. 그런데 데이터 포이즈닝 연구는 반대 방향을 가리킵니다.

핵심은 비율이 아니라 절대량입니다. 특정 트리거를 심는 데 필요한 오염 문서 수가 전체 데이터셋 크기에 비례해 커지지는 않는다는 실험 결과가 나와 있습니다. 모델이 100배 커져도 필요한 독이 100배가 되지는 않습니다. 수백 건 수준의 문서로도 특정 조건에서 모델 행동이 바뀔 수 있다는 뜻입니다.

게다가 니치한 주제일수록 더 취약합니다. “미국 대통령이 누구냐” 같은 질문은 수억 개의 문서가 정답을 떠받칩니다. 하지만 특정 지역의 특정 정책 논쟁처럼 원본 자료 자체가 희소한 영역이라면, 조작된 문서 몇십 개가 근거의 상당 부분을 차지할 수 있습니다. 공작이 노리는 건 정확히 이런 틈입니다.

RAG에서는 이게 훨씬 즉각적입니다. 학습 데이터를 오염시키려면 다음 학습 주기를 기다려야 하지만, 검색 기반 답변은 오늘 올린 페이지가 오늘 답변에 실립니다. 시차가 없어진 셈입니다.

그래서 우리는 뭘 할 수 있나

방어 쪽 이야기도 해야 공평합니다.

모델 제공사도 손 놓고 있진 않습니다. 출처가 얼마나 다양한지 검증하고 도메인별로 신뢰도 가중치를 매깁니다. 신생 사이트에는 유예 기간을 두기도 합니다. 하지만 근본적인 긴장이 있습니다. 최신 정보를 빠르게 반영하라는 요구와 검증되지 않은 출처를 걸러내라는 요구가 정면으로 부딪칩니다. 둘 다 만족시키는 방법은 아직 없습니다.

사용자 쪽에서 할 수 있는 건 의외로 소박합니다. 챗봇 답변에 붙은 각주를 실제로 눌러보는 것. 대부분 안 누르는데, 조작은 바로 그 지점을 노립니다. 논쟁적이거나 정치적인 주제일수록 단일 모델의 답변을 그대로 받아들이지 않는 습관도 필요합니다. 처음 보는 연구기관 이름이 나오면 그 기관 자체를 한 번 검색해보는 것도요. 설립 연도와 자금 출처가 안 나오는 곳은 일단 물음표를 달아야 합니다.

마무리

검색엔진 시대의 조작은 최소한 흔적이 보였습니다. 이상한 사이트가 상위에 뜨면 사람들이 알아챘으니까요. 지금은 그 과정이 모델 안으로 들어가 보이지 않습니다. 답변은 언제나 차분하고 확신에 차 있고, 어떤 문서를 근거로 삼았는지는 요약 한 줄 뒤에 숨어 있습니다.

바뀐 건 여론 공작의 비용 구조입니다. 사람 수백만 명을 설득하는 대신, 그 사람들이 매일 물어보는 도구 하나를 조련하면 됩니다. 여러분이 오늘 챗봇에게 받은 답변 중에, 출처를 직접 확인해본 게 몇 개나 되나요?