AI가 만든 허위 제보가 경찰에 도착한다면, 책임은 누구에게 있을까

핵심 요약

• AI가 제보 내용을 만드는 일과 경찰에 직접 보내는 일은 별개입니다.
• 앤트로픽 AI가 필라델피아 미제 살인사건에 허위 제보를 보냈다는 주장은 사실로 단정해서는 안 됩니다.
• 구체적인 이름과 날짜가 들어 있어도 뒷받침할 근거가 없다면 사실로 볼 수 없습니다.
• 책임을 따지려면 모델의 오류뿐 아니라 누가 제출했는지, 전송 권한과 확인 절차는 어떠했는지도 살펴야 합니다.

AI가 그럴듯하게 지어낸 이름 하나가 미제 살인사건의 제보로 접수된다면, 챗봇 화면의 오답이 누군가를 의심하는 단서가 될 수 있습니다. 화면 안에서 끝날 줄 알았던 오류가 실제 사람에게 영향을 미치는 겁니다. AI에 글쓰기뿐 아니라 외부 작업까지 맡길 때 생각해야 할 문제입니다.

‘AI가 제보했다’는 말에 빠진 정보

앤트로픽 AI와 필라델피아 미제 살인사건을 연결한 주장을 판단하려면 실제로 제보를 제출했는지, 누가 보냈는지부터 확인해야 합니다. AI가 허위 제보를 직접 보냈다거나 그 때문에 경찰 수사가 달라졌다고 단정해서는 안 됩니다.

‘AI가 제보했다’는 말만으로는 어떤 일이 있었는지 알기 어렵습니다. 챗봇은 제보문만 작성했을 수도 있고, 사람이 그 문장을 복사해 제출했을 수도 있습니다. 외부 서비스와 연결된 AI가 전송 기능까지 실행했는지는 따로 확인해야 합니다.

누가 제출을 결정했는지에 따라 오류를 막을 수 있었던 지점도 달라집니다. 제보문을 쓴 주체와 실제로 보낸 주체를 구분해야 하는 이유입니다.

문장이 구체적이라고 사실은 아닙니다

할루시네이션은 AI가 사실과 다르거나 근거 없는 내용을 그럴듯하게 만들어내는 현상입니다. 틀린 답에도 이름이 등장하고 날짜나 장소가 구체적으로 적힐 수 있습니다.

가령 챗봇이 “어떤 사람이 사건 당일 현장 근처에 있었다”는 문장을 만들었다고 해보겠습니다. 여기에 시각과 이동 경로까지 덧붙이면 제법 구체적인 제보처럼 보입니다. 하지만 뒷받침할 목격 기록이나 문서가 없다면, 묘사가 자세해졌을 뿐 사실인지 확인할 근거는 여전히 없습니다.

그 이름이 실제 인물의 것이라면 문제는 더 심각해질 수 있습니다. 실존하는 사람에 대한 거짓 이야기가 만들어지는 셈이니까요. 범죄 관련 정보를 볼 때는 문장이 자연스럽게 읽히는지와 별개로 주장의 근거를 따져야 합니다.

허위 정보가 수사에 영향을 주기까지

허위 정보가 수사에 영향을 미치기까지는 몇 단계를 거칩니다. 누군가 만들어진 내용을 제출해야 하고, 수사기관이 그 내용을 검토하는 과정도 거쳐야 합니다.

먼저 AI가 무엇을 근거로 답했는지 확인해야 합니다. 실제 자료에 나온 내용과 모델이 덧붙인 추론이 섞여 있다면, 어디까지가 자료에 있는 내용인지 구분해야 합니다.

제출할 때는 사람이 전송할 내용을 검토할 수 있어야 합니다. 특히 다른 사람을 범죄와 연결하는 문장이라면 제출자가 그 주장의 출처를 설명할 수 있어야 합니다. 자동 전송 기능을 갖춘 서비스라면 어떤 조건에서 전송하도록 설계했는지도 살펴야 합니다.

수사기관이 제보를 접수한 뒤에도 제보 내용과 확인된 사실은 구분해야 합니다. AI가 쓴 글에만 해당하는 원칙은 아닙니다. 다만 AI는 정돈된 문장을 쉽게 만들어내므로, 글이 잘 쓰였다는 이유로 내용까지 믿을 만하다고 여겨서는 안 됩니다.

책임을 따지려면 각자의 권한과 행동을 봐야 합니다

책임을 따질 때는 누가 무엇을 통제할 수 있었는가부터 살펴야 합니다. 그래야 각자가 막거나 바로잡을 수 있었던 오류가 무엇인지 구체적으로 따질 수 있습니다.

모델 개발사는 AI가 근거 없이 특정 인물을 지목하는 일을 줄이고, 불확실한 답을 확실한 사실처럼 제시하지 않도록 모델을 개선할 책임이 있습니다. 서비스를 설계한 운영자는 외부 제출 기능의 권한과 승인 절차를 점검해야 합니다.

제출자가 있다면 내용을 어떻게 확인했는지도 살펴야 합니다. “AI가 써줬다”는 말로는 그 주장의 근거를 설명할 수 없습니다. 수사기관 역시 접수한 내용을 독립적으로 확인하는 절차를 갖춰야 합니다.

실제 사건에서 누가 얼마나 책임을 져야 하는지는 전송 기록과 당사자의 행동에 따라 달라질 것입니다. 이를 판단하려면 AI가 자율적으로 행동한 범위와 사람이 결정한 범위를 먼저 정확히 구분해야 합니다.

AI의 오류로 누군가의 이름이 범죄와 연결되면 그 사람의 평판과 일상에도 영향을 줄 수 있습니다. 서비스나 업무에서 AI의 문장을 외부로 전달할 때는 어떤 근거를 확인해야 하는지 기준을 마련해둬야 합니다.