르쿤·아모데이 AI 위험 논쟁, ‘폭주’와 ‘멸종’ 사이의 거리

핵심 요약

• AI가 예상 밖으로 행동했다고 해서 인류 멸종으로 이어진다고 볼 수는 없습니다. 그 사이의 단계는 따로 입증해야 합니다.
• 실험에서 위험한 행동이 나왔다는 사실만으로 현실에서 얼마나 자주 일어날지까지 알 수는 없습니다.
• 회의론과 경고론을 이해하려면 위험을 뒷받침하는 증거와 예방 조치가 필요하다고 판단하는 기준을 구분해야 합니다.
• 실제로 AI를 쓸 때는 답변뿐 아니라 어떤 일을 실행할 권한이 있는지, 필요할 때 멈출 수 있는지도 살펴야 합니다.

AI에 글쓰기뿐 아니라 파일 수정과 업무 실행까지 맡기면, 판단이 틀렸을 때 감당해야 할 피해도 달라집니다. 얀 르쿤과 다리오 아모데이를 둘러싼 AI 위험 논쟁에서도 이 차이를 살펴야 합니다. ‘걱정이 없다’와 ‘위험하다’라는 표현만 비교하다 보면, 무엇이 얼마나 위험하다는 이야기인지 놓치기 쉽습니다.

‘멸종을 걱정하지 않는다’와 ‘AI는 안전하다’는 다릅니다

먼저 각 주장이 어디까지를 말하는지 봐야 합니다. AI가 잘못된 정보를 내놓는다는 주장과 AI가 인류를 멸종시킬 수 있다는 주장은 입증해야 할 내용부터 다릅니다.

‘멸종 위험을 걱정하지 않는다’는 입장이라고 해서 사기나 개인정보 유출 같은 피해까지 부정하는 것은 아닙니다. 특정한 위험 행동을 경고하는 쪽도 반드시 인류 멸종이 임박했다고 주장하는 것은 아닙니다.

르쿤과 아모데이의 견해를 비교할 때도 얼마나 강하게 말하는지보다 어떤 위험을 말하는지부터 따져야 합니다. 현재 시스템의 결함을 짚는지, 앞으로 등장할 시스템을 통제하기 어렵다는 것인지에 따라 필요한 근거가 달라집니다.

얼마나 먼 미래를 두고 하는 말인지도 봐야 합니다. 당장 업무에 도입할 AI가 안전한지와 장기적으로 훨씬 강력해질 AI가 얼마나 위험한지는 서로 연결되지만, 같은 질문은 아닙니다.

‘폭주 AI’라는 표현이 생략하는 것들

‘폭주’는 강렬한 표현입니다. 하지만 이 말만으로는 AI가 위험한 문장을 출력했는지, 실제로 시스템을 조작했는지 알 수 없습니다.

가령 시험 환경에서 AI가 “관리자 계정을 삭제하겠다”는 답변을 내놓았다고 해보겠습니다. 여기서 확인한 것은 그런 답변이 나왔다는 사실뿐입니다. 실제로 삭제 명령을 실행했는지, 그럴 권한은 있었는지 따로 확인해야 합니다.

삭제 명령까지 실행했다면 문제는 더 심각합니다. 그래도 피해가 시험 환경 안에 머물렀는지, 외부 시스템으로 번졌는지에 따라 사건을 다르게 봐야 합니다.

위험한 행동이 나왔을 때는 다음을 확인해야 합니다.

• 어떤 지시와 조건에서 그 행동이 나왔습니까?
• 말로만 제안했습니까, 실제 도구로 실행했습니까?
• 반복했을 때도 같은 행동이 나타났습니까?
• 사람이 개입했을 때 멈출 수 있었습니까?

가능성을 보여주는 실험은 중요합니다. 다만 특정 조건에서 그런 행동을 할 수 있다는 결과만으로, 일상적으로 쓸 때 얼마나 자주 같은 행동을 할지 알 수는 없습니다.

실험이라는 이유만으로 무시해서도 안 됩니다. 실제 서비스에서도 같은 조건이 생길 수 있다면, 그 실험은 미리 고쳐야 할 약점을 드러낸 셈입니다.

회의론과 경고론은 무엇을 입증하려 할까요

이 논쟁을 읽을 때는 두 질문을 구분하면 도움이 됩니다. “그 재앙이 일어난다고 믿을 근거가 충분한가”와 “그 가능성에 대비할 근거가 충분한가”입니다.

회의론을 평가하려면 재앙으로 이어지는 인과관계를 따져봐야 합니다. AI가 사람을 속일 수 있다는 사실만으로 통제권까지 빼앗을 수 있다고 결론 내릴 수는 없습니다. 필요한 자원과 권한을 얻을 수 있는지, 차단 장치를 넘어설 수 있는지도 설명해야 합니다.

경고론을 평가하려면 어떤 기준으로 예방 조치가 필요하다고 보는지 살펴야 합니다. 피해가 매우 클 수 있다면 확률을 정밀하게 계산하기 전이라도 대비하자는 판단은 가능합니다. 그렇다고 상상할 수 있는 모든 재앙이 똑같이 설득력을 갖는 것은 아닙니다.

논쟁이 자주 엇갈리는 지점은 사실에 대한 판단과 행동에 대한 판단입니다. 한 사람이 “멸종 가능성이 입증되지 않았다”고 말하고, 다른 사람이 “그래도 통제 장치는 필요하다”고 말한다면 두 주장 모두 성립할 수 있습니다.

어떤 예방 조치를 취할지도 구체적으로 따져야 합니다. 도구 사용 권한을 제한할 때와 기술 개발 전체를 제한할 때 드는 비용과 미치는 영향은 다릅니다. 같은 수준의 근거로 두 조치를 한꺼번에 정당화할 수는 없습니다.

독자에게 더 가까운 질문은 ‘무슨 권한을 줬나’입니다

실제 업무에서는 AI가 위험한 의도를 가졌는지보다, 판단을 잘못했을 때 무슨 일까지 실행할 수 있는지가 더 직접적인 문제입니다.

이메일 초안을 작성하는 AI를 예로 들어보겠습니다. 사람이 내용을 확인하고 전송한다면 그사이에 검토할 기회가 있습니다. 같은 AI에 고객 명단 접근 권한과 자동 전송 권한까지 주면, 잘못 판단한 내용이 그대로 외부로 나갈 수 있습니다.

이 차이를 이해하려고 인류 멸종 가능성에 대한 합의까지 기다릴 필요는 없습니다. 우선 어디에 접근할 수 있고 어떤 일까지 실행할 수 있는지 살피면 됩니다. 실행한 일을 되돌릴 수 있는지도 확인해야 합니다.

큰 피해를 낼 수 있는 행동에 사람의 확인을 요구하는 것도 이 때문입니다. 모델이 올바르게 판단하리라 기대하더라도, 틀렸을 때 피해를 줄일 장치는 필요합니다. 이런 장치는 AI가 악의적으로 행동할 때뿐 아니라 평범한 실수를 할 때도 도움이 됩니다.

르쿤과 아모데이를 둘러싼 논쟁에서는 누가 더 낙관적인지보다 각 주장이 어떤 근거와 조건에 기대고 있는지 살펴야 합니다. ‘폭주’라는 말이 나오면 실제로 무엇을 했는지, 어디까지 통제할 수 있었는지 확인해야 하고요. 평소 쓰는 AI에도 적용할 수 있는 질문입니다. 답을 제안하는 데 그치는지, 그 답에 따라 실제 일을 실행할 권한까지 갖고 있는지 확인해볼 필요가 있습니다.