AI가 중국 선박 첩보를 지어낸다면, 작전의 책임은 누가 질까
핵심 요약
- AI가 작성한 첩보는 문장이 얼마나 매끄러운지보다 원자료가 실제로 있는지, 믿을 만한지를 먼저 따져야 합니다.
- 선박의 국적과 위치를 확인했다고 해서 화물이나 임무까지 확인한 것은 아닙니다.
- 사람의 최종 승인이 의미 있으려면 검증할 시간과 판단을 보류할 권한이 필요합니다.
- 개발사와 도입 조직, 분석 담당자와 지휘관의 책임은 각자가 어떤 결정을 통제했는지에 따라 구분해야 합니다.
9월 9일 공개된 AI Coalition Network의 AI 윤리 이슈 소개 영상처럼 AI 윤리를 다루는 콘텐츠가 나오고 있습니다. 이 문제를 군사 현장에 대입해 보겠습니다. 미군이 AI가 작성한 중국 선박 보고서를 작전 판단에 활용하는 상황을 가정하는 겁니다. 실제로는 없는 근거를 내세운 문장이 작전 명령으로 이어졌다면, 누구에게 무엇을 물어야 할까요?
그럴듯한 보고서가 첩보로 둔갑하는 순간
보고서에 이런 문장이 있다고 해보겠습니다. “중국 선적 화물선이 군사용 장비를 싣고 특정 항구로 향하고 있다.” 선박 이름과 출항 시각에 화물의 종류까지 적혀 있다면 꽤 구체적인 정보처럼 보일 겁니다.
그런데 화물이 군사용 장비라는 근거를 확인하려고 보니, 보고서가 인용한 관측 기록 자체가 없다면 어떨까요. 표현을 잘못 쓴 정도로 넘길 수는 없습니다. 보고서의 핵심 판단을 뒷받침할 근거가 없는 셈이니까요.
이처럼 AI가 사실과 다른 내용을 만들어내는 현상을 흔히 환각이라고 부릅니다. 군사 정보를 다룰 때는 오류가 있는지와 함께 그 오류가 어떤 판단을 바꾸는지도 따져야 합니다. 선박 이름을 잘못 적었을 때와 무기 운송 여부를 잘못 판단했을 때의 결과는 다를 수밖에 없습니다.
보고서를 여러 차례 요약하면서 문제가 커질 수도 있습니다. 처음에는 “군사용일 가능성을 배제할 수 없다”던 표현이 다음 문서에서 “군사용 장비 운송”으로 바뀐다면, 새로운 증거 없이 확신만 커진 겁니다. 처음 나온 결과물은 물론, 요약을 거치며 판단이 강해진 과정도 확인해야 합니다.
선박의 위치를 알아도 화물까지 아는 것은 아닙니다
가상의 보고서에는 서로 다른 주장이 섞여 있습니다. 배의 국적과 현재 위치에 관한 주장도 있고, 어떤 화물을 실었는지, 무슨 목적으로 이동하는지에 관한 주장도 있습니다. 이 가운데 하나가 맞는다고 나머지까지 맞는 것은 아닙니다.
예를 들어 위치 기록은 배가 어디에 있었는지 판단하는 데 도움이 됩니다. 하지만 그 기록만으로 컨테이너 안에 무엇이 있는지 알 수는 없습니다. 특정 항구를 향한다는 사실 역시 군사적 임무의 증거가 되지는 않습니다.
그러니 보고서 전체에 ‘확인 완료’ 도장을 찍는 것으로 검증을 끝내서는 안 됩니다. 주장마다 근거를 연결해야 합니다. 위치는 확인했지만 화물은 확인하지 못했다면, 최종 보고서에도 그 차이를 명시해야 합니다.
출처가 몇 개인지도 따져봐야 합니다. 보고서 세 건이 같은 최초 문서를 인용한다면, 독립된 증거가 세 개 생긴 것은 아닙니다. AI가 만든 문장이 다른 문서를 거쳐 돌아왔다고 해서 새로 관측한 정보가 되지는 않습니다.
사람이 승인했다는 사실만으로 검증이 끝날까요
“최종 결정은 사람이 한다”는 원칙은 필요합니다. 다만 사람이 승인 버튼을 눌렀다는 이유만으로 충분히 검토했다고 볼 수 있을까요.
담당자가 요약문만 볼 수 있고 원자료에는 접근할 수 없다고 해보겠습니다. 판단할 시간마저 부족한데 보고서를 반려할 권한도 없다면, 검토자로 이름을 올렸어도 실제로는 내용을 검증하기 어렵습니다.
사람이 제대로 검토하려면 직접 확인할 수 있는 근거가 있어야 합니다. 보고서를 읽으면서 관측된 사실과 AI의 추론을 구분할 수 있어야 하고, 근거가 부족하면 추가 확인을 요구하거나 판단을 보류할 수도 있어야 합니다.
먼저 “이 정보가 틀리면 어떤 결정이 달라지는가”를 물어야 합니다. 관심 선박 목록에 추가할 때와 강제 조치의 근거로 삼을 때는 검증 수준이 달라야 합니다. 판단에 따른 결과가 중대할수록 확인되지 않은 부분을 더 분명하게 드러내야 합니다.
책임은 각자가 통제한 결정에서 찾아야 합니다
허위 첩보가 작전에 영향을 줬다면 “AI가 틀렸다”는 설명으로 조사를 끝낼 수는 없습니다. 어느 단계에서 오류가 생겼는지부터 살펴봐야 합니다. 이후 오류를 발견할 기회를 어디서 놓쳤는지, 누가 그 정보를 행동의 근거로 삼았는지도 확인해야 합니다.
개발사에는 시스템의 한계를 어떻게 평가하고 알렸는지 물을 수 있습니다. 도입 조직에는 어떤 기준으로 해당 업무에 쓸 만하다고 판단했는지 물어야 합니다. 분석 담당자와 지휘관의 판단을 살필 때는 당시 어떤 근거와 경고를 볼 수 있었는지, 무엇을 확인한 뒤 결정을 내렸는지가 중요합니다.
이 질문들로 특정 주체의 법적 책임을 미리 단정할 수는 없습니다. 사고 이후 책임을 따질 수 있도록 무엇을 기록해 둬야 하는지 짚어보자는 뜻입니다. 최초 보고서와 수정 이력, 검토 당시의 근거, 최종 판단 이유가 남아 있어야 각자가 어떤 결정을 내렸는지 구분할 수 있습니다.
지휘관에게 책임을 물으려면 실제로 판단할 수 있는 조건도 마련해야 합니다. 최종 승인자가 있다는 이유로 시스템을 만들고 배치한 조직의 결정을 검토 대상에서 빼서도 안 됩니다.
군사 AI를 평가할 때는 보고서를 얼마나 빨리 쓰는지와 함께, 중요한 문장의 근거를 얼마나 쉽게 확인할 수 있는지도 살펴야 합니다. 마지막 승인권자는 “AI가 그렇게 분석했다”는 설명을 들었을 때 그 판단을 확인하려면 어떤 증거가 필요한지 따져야 합니다.
댓글
댓글을 불러오는 중...