구글 검색 링크가 목적지를 감춘다면, AI 검색은 어떻게 될까

핵심 요약

• 검색 링크가 불투명하면 주소만 보고 원문 목적지를 알아보기 어렵습니다.
• 목적지를 따로 확인해야 하면 검색 결과를 대량으로 수집하는 비용이 늘어날 수 있습니다.
• 구글 검색 결과에 의존하는 AI 서비스는 이런 변화에 영향을 받을 수 있습니다.
• 경쟁을 제한하는지 판단하려면 주소 형태보다 실제 접근 조건과 적용 대상을 살펴봐야 합니다.

구글 검색 결과가 google.com/goto 같은 중간 주소를 거치고, 그 주소만으로는 원문 목적지를 알 수 없다면 무엇이 달라질까요? 사람에게는 클릭 한 번으로 끝나는 일이 검색 결과를 대량으로 모으는 프로그램에는 별도의 작업이 될 수 있습니다. AI 검색이 답변에 쓸 웹 문서를 찾을 때도 이 차이가 중요해집니다.

검색 링크가 ‘주소’ 대신 ‘교환권’이 된다면

보통 웹 주소에는 어느 사이트로 연결되는지 짐작할 만한 정보가 있습니다. 도메인을 보면 언론사인지 개인 블로그인지 알 수 있고, 경로에 기사 제목이나 문서 번호가 들어 있기도 합니다.

불투명한 URL은 주소 자체만으로는 이런 목적지 정보를 읽어내기 어려운 링크입니다. 원문 주소 대신 뜻을 알기 어려운 식별자가 들어 있다면, 중간 서버를 거쳐야 실제 목적지를 확인할 수 있습니다. 주소가 적힌 명함보다는 창구에 가져가야 내용을 알 수 있는 교환권에 가깝습니다.

다만 google.com/goto라는 경로 이름만 보고 이렇게 작동한다고 단정할 수는 없습니다. 실제 링크에 목적지가 어떤 형태로 들어 있는지, 접속했을 때 어떤 절차를 거치는지 확인해야 합니다.

중간 주소를 거치는 리디렉션 자체를 스크래핑 방어로 볼 수도 없습니다. 리디렉션은 사용자를 다른 주소로 보내는 일반적인 웹 기술입니다. 목적지를 얼마나 쉽게 알아낼 수 있는지는 이 기술을 어떻게 구현했느냐에 달려 있습니다.

스크래핑 방어의 효과는 ‘추가 작업’에서 나옵니다

스크래핑은 프로그램으로 웹페이지에서 필요한 정보를 뽑아내는 작업입니다. 검색 결과에서는 문서 제목이나 설명, 원문 주소 등을 수집할 수 있습니다.

원문 주소가 페이지에 그대로 들어 있으면 프로그램은 그 주소를 읽어 목록을 만들 수 있습니다. 하지만 목적지를 알아내려고 링크마다 중간 서버에 접속해야 한다면, 그만큼 요청을 더 보내야 합니다.

가령 검색 결과 100개의 목적지를 각각 한 번씩 더 확인해야 한다고 가정해 보겠습니다. 주소를 확인하는 데만 요청 100번이 더 필요합니다. 수집할 검색 결과가 많아지면 기다리는 시간이 길어지고, 실패한 요청을 다시 처리하는 부담도 커질 수 있습니다.

그렇다고 주소를 알아보기 어렵게 만드는 것만으로 자동 수집을 막을 수는 없습니다. 프로그램도 리디렉션을 따라갈 수 있기 때문입니다. 여기에 요청 횟수를 제한하거나 추가 인증을 요구하면 수집하는 쪽의 부담이 더 커질 수 있습니다.

검색 서비스를 운영하는 쪽은 이런 장치로 대량 요청을 관리할 수 있습니다. 다만 어떤 목적으로 쓰고 실제로 어떤 효과를 내는지는 운영 방식을 살펴봐야 알 수 있습니다.

AI 검색에는 같은 변화가 다르게 작용합니다

AI 검색은 답변을 만들기 전에 관련 문서를 찾아야 합니다. 문서를 어디서 어떻게 찾느냐에 따라 불투명한 검색 링크가 미치는 영향도 달라집니다.

구글 검색 결과에서 원문 주소를 모으는 서비스라면 목적지를 따로 확인해야 하는 만큼 부담이 늘 수 있습니다. 문서를 찾는 데 시간이 더 걸리고, 일부 링크를 확인하지 못하면 답변에 쓸 자료도 줄어들 수 있습니다.

반면 직접 웹을 수집하거나 다른 검색 색인을 이용하는 서비스는 해당 구글 링크 변경의 직접적인 영향을 덜 받을 수 있습니다. 검색 색인은 검색할 문서를 미리 정리해 둔 목록이라고 보면 됩니다.

이때 비용의 차이가 생길 수 있습니다. 구글 검색 결과에서 주소를 수집하던 외부 서비스는 목적지를 확인하는 작업을 더 해야 할 수 있습니다. 이미 목적지 정보를 가진 검색 운영자는 그 작업을 거칠 필요가 없습니다.

이 차이가 경쟁에 영향을 줄 가능성은 있습니다. 다만 URL 설계만 보고 특정 AI 경쟁사를 겨냥했다고 단정할 수는 없습니다.

방어와 경쟁 제한의 경계는 접근 조건에 있습니다

이를 판단하려면 우선 어떤 요청을 제한하는지 살펴봐야 합니다. 요청량이 과도할 때 제한하는지, 특정 서비스에만 다른 조건을 적용하는지에 따라 해석이 달라집니다.

외부 서비스가 검색 결과를 이용할 다른 경로가 있는지도 중요합니다. 공식적으로 이용할 방법이 있는지, 있다면 가격과 사용 조건은 어떤지 살펴봐야 합니다. 기술적으로 접속할 수 있어도 사업에 활용할 수 있는지는 별개의 문제입니다.

일반 이용자가 겪는 변화도 살펴봐야 합니다. 클릭하기 전에 목적지를 알아보기 어려워지면 링크 주소만으로 방문할 사이트를 판단하기 힘들어질 수 있습니다. 브라우저나 검색 화면에서 목적지를 따로 보여주는지도 확인해야 합니다.

저는 이 문제에서 검색 결과를 활용하는 비용을 누가 결정하느냐가 중요하다고 봅니다. 검색 운영자가 방어 조치를 취하면 외부 서비스가 부담하는 비용도 달라집니다. 따라서 보안을 위한 조치라도 경쟁에 어떤 영향을 미치는지는 따로 따져봐야 합니다.

검색 링크의 목적지를 감추면 자동 수집 비용이 높아질 수 있습니다. 이런 설계가 필요한지 판단하려면 방어의 필요성과 함께 누구를 제한하는지, 다른 접근 수단은 있는지 확인해야 합니다. 이용자가 겪을 불편도 살펴야 합니다. 링크 하나를 어떻게 설계하느냐에 따라 다음 검색 서비스를 만드는 여건도 달라질 수 있습니다.