911 신고를 AI가 먼저 받습니다 — 그런데 사람은 위협의 3분의 1을 놓칩니다

먼저 밝혀둘 게 있습니다. 이번 주제는 최근 한 달치 커뮤니티 데이터에서 볼 만한 논의를 거의 찾지 못했습니다. 그래서 이 글은 실시간 여론 정리가 아니라, 이미 나와 있는 실험 결과와 현장에서 벌어지는 변화를 엮어 읽는 쪽에 가깝습니다. 대신 질문은 꽤 뾰족합니다. AI 에이전트가 뭔가 실행하기 전에 사람에게 물어보는 구조, 우리는 그걸 안전장치라고 불러왔는데요. 그 안전장치가 실제로 작동하는지 확인해본 사람이 있냐는 겁니다.

사람은 위협의 3분의 1을 그냥 승인했습니다

AI 에이전트에게 권한을 주는 지금의 표준 방식은 이렇습니다. 에이전트가 파일을 지우거나, 결제를 하거나, 외부에 데이터를 보내려 할 때 화면에 승인창을 띄웁니다. 사람이 확인하고 누릅니다. 이게 휴먼 인 더 루프입니다. 인간이 최종 결정권을 쥐고 있으니 안전하다는 논리죠.

그런데 이 전제를 검증한 실험 데이터가 있습니다. 게임처럼 만든 환경에서 약 4만 번을 돌리며 사람들에게 AI 에이전트가 요청한 명령을 승인할지 거부할지 판단하게 했습니다. 결과는 별로였습니다. 명백히 위험한 명령 중 3분의 1이 사람 손을 그냥 통과했습니다.

이 사람들이 무능해서 그런 게 아닙니다. 처음 몇 번은 잘 봅니다. 문제는 승인창이 스무 번, 쉰 번 반복될 때 생깁니다. 뇌가 그 창을 “읽어야 할 정보"가 아니라 “치워야 할 장애물"로 분류를 바꿉니다. 이걸 퍼미션 피로라고 부릅니다. 앱 설치할 때 권한 동의 화면을 안 읽고 넘기는 그 습관, 정확히 같은 메커니즘입니다.

안전장치가 아니라 책임 전가 장치

여기서 불편한 해석이 하나 나옵니다. 승인 버튼은 사고를 막으려고 있는 걸까요, 사고가 났을 때 책임을 옮기려고 있는 걸까요.

기술적으로 보면 승인 UI는 만들기 쉽습니다. 위험한 동작을 진짜로 판별하는 건 어렵습니다. 그래서 판별이라는 어려운 문제는 사람에게 떠넘기고 시스템은 “사용자가 승인했습니다"라는 로그를 남깁니다. 문제가 터지면 그 로그가 방패가 됩니다. 3분의 1을 놓치는 사람에게 최종 판단을 맡겨놓고 놓쳤을 때의 책임까지 그 사람에게 지웁니다.

실제로 클릭 한 번의 무게도 서로 다릅니다. 거부하면 일이 멈춥니다. 다시 설명해야 하고, 에이전트가 왜 그걸 요청했는지 뜯어봐야 합니다. 승인하면 일이 진행됩니다. 시스템은 승인 쪽으로 기울어져 있고, 사람은 그 기울기를 따라 흐릅니다.

그 버튼이 911 접수대에 놓인다면

이제 같은 버튼을 다른 데 놓아보죠. 미국 여러 지역에서 911 신고 전화를 AI가 먼저 받습니다. 배경은 단순합니다. 접수 요원이 만성적으로 부족하고, 전화는 계속 울립니다. 통화 대기 중에 사람이 죽습니다. AI가 비응급 신고를 걸러내 요원이 진짜 응급 건에 집중하게 하자는 발상 자체는 말이 됩니다.

문제는 아까 그 3분의 1이 여기서 무슨 뜻이냐입니다.

코딩 에이전트가 승인 실수를 하면 파일이 날아갑니다. 백업에서 복구하면 됩니다. 911 접수에서 판단이 어긋나면 사람이 죽습니다. 되돌릴 방법이 없습니다. 게다가 접수 요원은 이미 세계에서 가장 심하게 퍼미션 피로에 시달리는 직군입니다. 하루에 수백 통을 받고, 대부분은 응급이 아니고, 화면에는 AI가 요약한 신고 내용과 분류 결과가 떠 있습니다. 그걸 매번 처음부터 의심하며 읽을 수 있을까요.

한 가지 더. 911 신고는 AI가 가장 못하는 조건을 다 갖췄습니다. 신고자는 울고 있고, 문장이 끊기고, 소리를 지르고, 영어가 모국어가 아니고, 배경이 시끄럽습니다. 정제된 텍스트 입력에서 잘 작동하는 모델이 이 상황에서도 잘 작동하리라는 보장은 없습니다.

그럼에도 이 방향이 아주 틀린 건 아닙니다

반대편도 짚어야 공평하겠죠. 지금의 911 시스템이 완벽해서 AI를 막아야 하는 게 아닙니다. 지금도 사람이 놓칩니다. 지금도 대기 시간에 사람이 죽습니다. 비교 대상은 “완벽한 인간 시스템"이 아니라 “실제로 돌아가는 결함 있는 인간 시스템"이어야 공정합니다.

AI가 잘할 수 있는 영역도 분명 있습니다. 신고자 위치를 즉시 특정하고, 통화 내용을 실시간으로 받아 적고, 비슷한 과거 사례를 요원 화면에 띄워주고, 심정지 의심 징후를 소리로 감지해 경보를 올리는 일. 판단을 대신하는 게 아니라 판단을 거드는 쪽입니다. 여기서 갈립니다.

문제는 도입 논리가 “요원을 도와주자"에서 시작해 “요원 수를 줄일 수 있겠다"로 조용히 옮겨가는 경우입니다. 예산 압박이 있는 조직에서 이 이동은 거의 자동으로 일어납니다.

그래서 무엇을 다르게 해야 하나

실험이 알려주는 교훈은 “사람을 루프에 넣지 말자"가 아닙니다. “사람을 루프에 넣어놨으니 안전하다고 말하지 말자"입니다. 몇 가지가 따라 나옵니다.

승인 요청 횟수 자체를 줄여야 합니다. 사람이 감당할 수 있는 판단의 총량에는 한계가 있습니다. 하루 500번 물어보는 시스템은 500번의 검토를 받는 게 아니라, 0번의 검토를 500번 기록하는 겁니다. 저위험 동작은 자동으로 통과시키고 진짜 위험한 소수에만 사람을 불러야 합니다.

되돌릴 수 있는 결정과 없는 결정을 갈라야 합니다. 되돌릴 수 있으면 승인 없이 실행하고 취소 버튼을 주는 게 낫습니다. 되돌릴 수 없으면 승인 한 번으로는 부족합니다. 911은 후자입니다.

승인률도 재야 합니다. 특정 요원의 승인률이 99퍼센트라면, 그 사람은 검토하는 게 아니라 클릭하는 겁니다. 로그만 봐도 나오는 숫자인데, 이걸 들여다보는 곳이 거의 없습니다.

얇은 재료로 만든 안전장치

4만 번의 실행에서 사람이 위협의 3분의 1을 놓쳤다는 건, 인간의 주의력이 자동화의 안전장치로 쓰기엔 너무 얇은 재료라는 뜻입니다. 그 얇은 재료를 코딩 도구에 쓰는 것과 911 접수대에 쓰는 것은 전혀 다른 이야기고요.

지금 쓰는 AI 도구의 승인창을 한번 떠올려보세요. 마지막으로 그 내용을 끝까지 읽고 누른 게 언제였습니까. 답이 잘 안 떠오른다면, 그게 지금 안전장치의 실제 강도입니다.