얼굴 50만 회 스캔, 직접 체포 0건… 런던 역의 AI 감시가 남긴 질문

핵심 요약

영국 교통경찰의 런던 철도역 안면인식 실험은 얼굴 50만 회 스캔에도 직접 체포 0건을 기록했습니다.
스캔 횟수로 감시 규모는 알 수 있지만, 범죄 대응에 얼마나 도움이 됐는지는 알 수 없습니다.
직접 체포 건수만으로는 얼굴을 잘못 식별하는 오탐이 얼마나 잦았는지 알 수 없습니다.
실효성을 따지려면 대상을 정확히 식별했는지, 이후 어떤 조치를 했는지 살펴야 합니다. 시민의 불편과 운영 비용도 함께 봐야 합니다.

출퇴근길 역의 카메라가 내 얼굴을 수배 대상과 실시간으로 대조한다면, 그만큼 안전해지는지 궁금할 수밖에 없습니다. 영국 교통경찰(BTP)의 런던 철도역 실험은 얼굴 50만 회 스캔, 직접 체포 0건이라는 결과를 남겼습니다. 가디언의 런던 철도역 실시간 안면인식 실험 관련 보도를 보면 이런 의문이 듭니다. 이렇게 많은 얼굴을 확인해서 실제로 무엇을 얻었을까요?

50만 회와 0건은 서로 다른 것을 보여줍니다

50만 회라는 숫자는 시스템이 얼마나 많이 작동했는지 보여줍니다. 다만 스캔 횟수가 곧 서로 다른 50만 명을 뜻하지는 않습니다. 같은 사람이 여러 차례 카메라에 잡혔다면 그만큼 중복해서 셌을 수 있습니다.

직접 체포 0건은 그 활동으로 어떤 결과를 얻었는지에 관한 숫자입니다. 체포를 성과 기준으로 삼는다면, 이 실험에서는 대규모 스캔이 직접 체포로 이어지지 않았습니다. 장비가 많이 돌아갔다는 설명만으로 성과를 인정하기는 어렵습니다.

그렇다고 이 숫자 하나로 “얼굴 인식이 모두 틀렸다”고 결론 내릴 수도 없습니다. 실제 수배 대상이 카메라 앞을 얼마나 지나갔는지에 따라 결과는 달라집니다. 직접 체포 0건이라는 말을 다른 수사에도 전혀 활용하지 못했다는 뜻으로 받아들여서도 안 됩니다.

결국 무엇을 확인하려던 실험인지부터 봐야 합니다. 기술이 현장에서 작동하는지 확인하려던 것인지, 실제 검거 성과를 보려던 것인지에 따라 평가 기준도 달라져야 합니다.

AI의 경고가 곧 신원 확인은 아닙니다

실시간 안면인식은 보통 카메라에 잡힌 얼굴의 특징을 추출해 감시 목록에 있는 얼굴과 비교합니다. 두 얼굴이 비슷한 정도가 미리 정한 기준을 넘으면 경고를 띄웁니다.

이때 경고는 “이 사람일 가능성이 있다”는 신호입니다. 경고가 떴다고 신원이 확정되거나 체포 사유가 생기지는 않습니다. 사람이 직접 확인하고, 법에 따라 어떤 조치를 할지 판단해야 합니다.

오탐은 실제로는 다른 사람인데 같은 사람일 수 있다고 잘못 경고하는 경우입니다. 반대로 찾아야 할 사람을 놓치는 오류는 미탐이라고 부릅니다. 직접 체포가 없었다는 결과만으로는 어느 오류가 얼마나 발생했는지 알 수 없습니다.

잘못된 경고가 떴는지, 그 때문에 잘못 검문하거나 체포했는지도 따로 봐야 합니다. 담당자가 경고를 확인하는 단계에서 곧바로 오류를 걸러낼 수도 있습니다. 하지만 검문까지 이어지면 시민은 가던 길을 멈추고 자신의 신원을 설명해야 할 수 있습니다. 체포 여부만 세면 이런 불편은 성과표에 드러나지 않습니다.

오탐률이 낮아도 헛경고는 쌓일 수 있습니다

오탐률이 낮다고 그 영향까지 작다고 보기는 어렵습니다. 특히 역처럼 많은 얼굴을 반복해서 확인하는 곳에서는 작은 오류율도 가볍게 볼 수 없습니다.

이를 이해하기 위해 가상의 계산을 해보겠습니다. 대상자가 아닌 얼굴 10만 건을 비교하는 시스템이 그중 0.01%에 잘못 경고한다면, 헛경고는 10건입니다. 이 수치는 런던 실험에서 측정한 값이 아닙니다. 처리 규모에 따라 오류가 얼마나 생길 수 있는지 보여주는 예시입니다.

실제로 찾아야 할 사람이 얼마나 드물게 나타나는지도 따져야 합니다. 진짜 대상자가 거의 지나가지 않는다면, 오탐률이 낮은 시스템이라도 담당자가 받는 경고 상당수가 헛경고일 수 있습니다.

그래서 “오탐률이 얼마인가”를 물을 때는 “발생한 경고 중 실제 대상자는 몇 명이었나”도 함께 물어야 합니다. 두 질문으로 알 수 있는 내용은 다릅니다. 앞의 질문은 경고가 잘못 울릴 가능성을, 뒤의 질문은 울린 경고를 얼마나 믿을 수 있는지를 보여줍니다.

경고를 띄우는 기준을 높이면 오탐을 줄일 수 있습니다. 대신 실제 대상자를 놓칠 가능성은 커질 수 있습니다. 정확도라는 숫자 하나만 봐서는 이런 차이를 알기 어렵습니다.

도입의 기준은 스캔량보다 실제 성과여야 합니다

이 실험에서 먼저 살펴볼 것은 스캔 이후의 과정입니다. 경고가 몇 번 울렸고, 그중 몇 건이 실제 대상자를 찾아낸 경고였는지 확인해야 합니다. 그 뒤에 어떤 조치를 했는지까지 알아야 실험의 효과를 평가할 수 있습니다.

운영에 드는 비용도 따져야 합니다. 장비와 소프트웨어에 쓰는 돈뿐 아니라 경찰관이 경고를 확인하는 데 들이는 시간도 비용입니다. 잘못된 경고 때문에 시민이 가던 길에서 지체됐다면 그 부담 역시 계산에 넣어야 합니다.

저는 기존 대응 방식과 비교하는 일이 가장 중요하다고 봅니다. 같은 인력과 예산을 썼을 때 안면인식으로 무엇을 더 해결했는지 보여줘야 합니다. 도입 전보다 검거가 늘었는지, 대상자를 찾는 시간이 줄었는지처럼 구체적으로 나아진 부분이 있어야 합니다.

얼굴 50만 회 스캔과 직접 체포 0건이라는 결과를 보면, 처리량만으로 AI 감시의 가치를 설명하기는 어렵습니다. 실제로 거둔 성과와 시민이 부담하는 비용을 함께 따져야 합니다. 우리가 매일 지나는 역에 설치할 시스템이라면, 어느 정도의 성과가 있어야 도입을 납득할 수 있을지부터 분명히 해야 합니다.

참고 자료

가디언 — 런던 철도역 실시간 안면인식 실험과 오탐 관련 보도