클로드에 쓴 일기가 경찰에 전달된다면

핵심 요약

• AI 일기장에 위협적인 표현이 있다면 앞뒤 맥락과 내용이 얼마나 구체적인지 함께 살펴야 합니다.
• 경찰 신고처럼 영향이 큰 판단에는 사람의 검토와 명확한 기준이 필요합니다.
• 이용자는 어떤 조건에서 대화가 외부로 전달될 수 있는지 쉽게 알 수 있어야 합니다.
• 안전을 위해 개입할 때도 어디까지 정보를 공유할지 정하고, 오판을 바로잡을 절차를 마련해야 합니다.

일기는 남에게 하지 못한 말까지 적는 공간입니다. 그런데 클로드에 쓴 위협적인 문장을 앤트로픽이 경찰에 전달한다면 어떨까요? 이런 상황을 가정하면, AI에게 털어놓은 속마음을 어디까지 비밀로 지켜줄지 미리 알아야 하는 이유가 분명해집니다.

화가 난다는 말과 실행 계획 사이

“오늘 상사 때문에 미치겠다”라고 일기에 쓸 수 있습니다. 하지만 이 한 줄만 보고 글쓴이가 누군가를 해칠 생각인지 판단하기는 어렵습니다.

특정 상대를 지목하면서 언제 실행할지, 어떤 수단을 준비했는지까지 썼다면 더 우려할 만합니다. 이때 따져볼 기준은 구체성과 긴급성입니다. 실제로 행동에 옮길 의도가 있는지도 살펴야 합니다.

앞뒤 대화를 읽어야 알 수 있는 부분도 있습니다. 소설 속 인물의 대사일 수도 있고, 과거에 품었던 생각을 돌아보며 쓴 말일 수도 있습니다. 지금 실행하려는 계획이라면 같은 문장이라도 뜻이 달라집니다.

일기에는 미처 정리하지 못한 감정도 그대로 적습니다. 위험을 판단하는 시스템이라면 거친 표현이 무엇을 뜻하는지 제대로 해석할 책임도 져야 합니다.

경찰 신고에는 어떤 검토가 필요할까요

위험 신호를 감지했다고 해서 어떻게 대응할지까지 정해지는 것은 아닙니다. 사용자에게 어떤 뜻으로 한 말인지 다시 묻거나 도움을 안내할 때와, 대화를 경찰에 전달할 때는 당사자에게 미치는 영향이 다릅니다.

저는 경찰 신고처럼 영향이 큰 조치에는 원칙적으로 사람의 맥락 검토가 필요하다고 봅니다. 검토자는 문제의 문장과 함께 판단에 필요한 앞뒤 대화도 읽어야 합니다. 당장 개입해야 하는 상황에 예외를 둔다면, 그 기준 역시 명확해야 합니다.

신고 건수가 많다는 이유만으로 안전 기능이 잘 작동한다고 보기도 어렵습니다. 실제 위험을 놓치지는 않았는지 확인해야 하고, 위험하지 않은 대화를 잘못 해석한 경우도 살펴야 합니다.

서비스 운영사는 무엇을 근거로 판단했고 누가 검토했는지 설명할 수 있어야 합니다. 경찰에 어떤 정보까지 전달했는지도 구체적으로 밝힐 수 있어야 합니다.

이용자는 비밀의 경계를 미리 알아야 합니다

이용자가 AI를 속마음을 털어놓을 상대로 여긴다면, 그 대화를 어디까지 비밀로 지켜주는지 미리 알아야 합니다.

가령 서비스에 위협 신고 절차가 있다면, 이용자는 다음 내용을 쉽게 확인할 수 있어야 합니다.

• 어떤 상황에서 사람이 대화를 검토하는지
• 어떤 기준으로 경찰 등 외부 기관에 정보를 전달하는지
• 전달하는 정보에 대화 기록이나 계정 정보가 얼마나 포함되는지
• 잘못된 판단에 대해 설명을 요구하거나 이의를 제기할 방법이 있는지

이런 조건을 긴 약관 어딘가에 적어두는 것만으로는 충분히 설명했다고 보기 어렵습니다. 특히 일기나 고민 상담을 권하는 기능이라면, 이용자가 민감한 내용을 입력하기 전에 관련 조건을 읽고 이해할 수 있게 안내해야 합니다.

친근한 말투와 정보 보호 약속은 따로 살펴야 합니다. AI가 다정하게 답하더라도, 그것만으로 대화의 비밀까지 보장한다고 받아들이기는 어렵습니다.

안전을 위해서도 정보 공유의 범위가 중요합니다

경찰에 알릴 필요가 있다고 판단했더라도, 신고에 얼마나 많은 정보가 필요한지는 여전히 따져봐야 합니다.

특정 위협을 설명하는 데 필요한 대화가 있다고 해서, 오래전에 털어놓은 가족 문제나 건강 고민까지 그 위협과 관련이 있는 것은 아닐 수 있습니다. 신고가 필요한지 판단하는 것과 별개로 공유할 정보의 범위도 검토해야 합니다.

잘못 판단했을 때 바로잡을 절차도 필요합니다. 사실과 다르게 남은 기록을 고칠 수 있는지, 이용자가 자신의 대화를 어떻게 해석했는지 확인할 수 있는지에 따라 서비스를 믿고 쓸 수 있을지가 달라집니다.

저는 AI 일기장이 어떤 위험에, 어떤 기준으로 개입하는지 구체적으로 설명해야 믿고 쓸 수 있다고 봅니다. 서비스를 고를 때도 답변이 얼마나 공감 가는지만큼 내 대화를 어떻게 처리하는지 살펴야 합니다. 속마음을 어디까지 솔직하게 적을지는 이런 조건을 알고 나서 판단할 수 있습니다.