“우리 AI는 위험하다”는 경고, 그 말부터 검증해야 하지 않을까요

핵심 요약

• AI가 위험할 수 있다는 경고와 그 위험을 입증하는 증거는 구분해야 합니다.
• 독립 조사는 기업이 주장하는 위험과 실제로 취한 안전 조치를 함께 살펴야 합니다.
• 검증 기관에는 자료 접근권과 불리한 결과까지 공개할 권한이 필요합니다.
• 인류의 미래에 관한 우려가 지금 벌어지는 피해를 가려서는 안 됩니다.

AI가 인류를 위협할 수 있다는 경고를 들으면 기술을 잘 모르는 사람도 귀를 기울이게 됩니다. OpenAI나 Anthropic 같은 개발사가 자사 기술의 위험을 설명할 때, 그 판단을 어디까지 믿어도 될까요? 경고의 내용만큼 그 경고를 누가 검증하느냐도 중요합니다.

위험하다는 말과 위험을 입증하는 일은 다릅니다

AI의 ‘실존적 위험’이라는 말부터 짚어보겠습니다. 단순한 서비스 장애나 잘못된 답변을 넘어, 인류의 존속이나 장기적인 미래를 돌이킬 수 없게 훼손할 위험을 뜻합니다.

이처럼 큰 주장을 판단하려면 몇 가지를 나눠서 따져야 합니다. 어떤 피해가 가능하다는 말과 AI에 그 피해를 일으킬 능력이 있다는 말은 다릅니다. 그런 일이 벌어질 조건이 현실에서 갖춰질지도 따로 살펴야 합니다.

가령 AI가 위험한 계획을 글로 썼다고 해보겠습니다. 계획을 썼다는 사실만으로 실행할 능력까지 입증되지는 않습니다. 외부 시스템에 접근할 수 있는지, 필요한 자원을 확보할 수 있는지 따로 확인해야 합니다. 사람이 개입해도 계획을 계속 실행할 수 있는지도 살펴야 합니다.

그렇다고 아직 피해가 없었다는 이유만으로 안전하다고 단정할 수는 없습니다. 사고가 나기 전에 위험을 평가할 필요는 있습니다. 다만 가능성, 관찰된 능력, 실제 발생 가능성을 한데 묶어 말하면 독자가 위험의 크기를 가늠하기 어려워집니다.

독립 조사는 경고와 행동을 함께 살펴야 합니다

개발사는 자사 모델에 관해 많은 정보를 갖고 있습니다. 동시에 제품을 출시하고 사업 성과를 내야 하는 당사자이기도 합니다. 두 역할을 함께 맡는다는 사실이 거짓말의 증거는 아닙니다. 다만 외부 검증이 필요한 이유는 됩니다.

위험을 경고하는 말은 안전 문제에 관심을 모으는 한편, 해당 기업이 대단히 강력한 기술을 갖고 있다는 인상을 줄 수도 있습니다. 그렇다고 모든 경고를 홍보라고 치부할 수는 없습니다. 무슨 의도인지 추측하기보다는 어떤 증거가 있는지 확인하는 편이 낫습니다.

독립 조사에서 확인해야 할 질문은 크게 세 가지입니다.

• 어떤 조건에서 위험한 행동이 나타났을까요? 실제 서비스와 비슷한 환경이었는지, 실험을 위해 특별히 많은 권한을 줬는지 구분해야 합니다.
• 다른 평가자도 같은 결과를 얻을 수 있을까요? 인상적인 사례 하나를 보고 판단하기 전에, 같은 현상이 반복되는지 확인해야 합니다.
• 회사는 결과를 확인한 뒤 무엇을 바꿨을까요? 접근 권한을 제한했는지, 배포 범위를 조정했는지 등 후속 조치를 살펴야 합니다.

마지막 질문을 통해서는 회사가 설명하는 위험의 크기에 실제 대응이 걸맞은지 확인할 수 있습니다. 큰 위험을 경고했다면, 그에 맞춰 어떤 대응을 했는지 구체적인 근거도 내놓아야 합니다.

‘외부 전문가 참여’만으로 독립성이 생기지는 않습니다

회사가 고른 전문가가 회사에서 추린 자료만 읽는다면 검증 범위도 결국 회사가 정하는 셈입니다. 외부 사람이 참여한다는 사실만으로는 검증이 충분히 독립적이라고 보기 어렵습니다.

검증 기관에는 자료 접근권이 필요합니다. 공개용 보고서에 그치지 않고 평가 방법과 실패 사례를 들여다볼 수 있어야 합니다. 안전 조치를 적용하기 전후의 결과도 비교할 수 있어야 하며, 받지 못한 자료가 있다면 무엇인지 밝혀야 합니다.

조사 결과를 발표할 권한도 있어야 합니다. 조사 대상 기업이 불리한 결론을 공개하지 못하게 막는다면 독자는 기업이 공개를 허용한 결과만 보게 됩니다. 평가자에게 어떤 이해관계가 있는지, 누가 어떤 방식으로 비용을 부담하는지도 공개할 필요가 있습니다.

투명성을 확보한다고 해서 모든 자료를 제한 없이 공개해야 하는 것은 아닙니다. 개인정보나 악용할 수 있는 세부 정보는 보호해야 합니다. 대중에게는 평가 기준과 핵심 결론을 공개하되, 민감한 근거 자료는 권한을 가진 독립 평가자가 확인하는 방식을 고려할 수 있습니다.

조사에 앞서 결론부터 정해둬서도 안 됩니다. 위험이 확인되면 대응을 강화하고, 주장에 비해 근거가 약하다면 경고의 표현과 판단을 고쳐야 합니다. 어느 쪽이든 조사 결과를 받아들일 수 있어야 합니다.

먼 미래의 위험이 오늘의 피해를 가려서는 안 됩니다

인류의 미래가 걸린 이야기는 사람들의 관심을 끌기 쉽습니다. 하지만 AI를 감독하는 쪽에서 그 문제에만 집중하면, 사기나 개인정보 침해처럼 구체적으로 따져야 할 문제를 놓칠 수 있습니다.

두 종류의 위험은 평가하는 방법도 달라야 합니다. 미래의 대규모 위험을 논할 때는 어떤 가정을 했고 무엇이 불확실한지 밝혀야 합니다. 이미 발생한 피해라면 규모와 원인을 확인하고 어떻게 구제할지 따져야 합니다. 이를 막연한 ‘AI 위험도’ 하나로 합치면 어떤 대응이 필요한지 알기 어려워집니다.

규칙을 만들 때도 독립적인 판단이 필요합니다. 개발사의 전문 지식을 활용할 수는 있지만, 그 회사의 평가 방식을 업계 전체의 유일한 기준으로 삼아도 되는지는 따로 검토해야 합니다. 안전 대책이 얼마나 효과가 있는지와 함께 비용이 얼마나 드는지, 경쟁에는 어떤 영향을 미치는지도 살펴야 합니다.

AI 기업의 경고는 진지하게 받아들여야 하지만, 그 말만으로 결론을 내릴 수는 없습니다. 독립적인 검증 기관이 근거 자료에 접근하고 기업의 대응까지 확인할 수 있어야 합니다. “우리 기술은 위험합니다”라는 설명을 들었다면, 그 위험을 뒷받침하는 증거부터 요구해야 합니다.