시간당 6,700장의 성적 딥페이크를 찍어내는 AI — Grok 스캔들이 드러낸 플랫폼 책임의 민낯
AI가 그림을 그려주는 시대, 편리함의 이면에는 어두운 그림자가 있습니다. xAI의 챗봇 Grok이 성적 딥페이크 이미지를 대량으로 생성하는 도구로 악용되면서, AI 업계 전체가 뒤흔들리고 있는데요. 이 사건은 단순한 기술적 결함이 아니라, 플랫폼이 사용자에게 어디까지 책임져야 하는가라는 근본적인 질문을 던지고 있습니다.
무슨 일이 벌어진 건가
일론 머스크의 AI 회사 xAI가 만든 Grok은 X(구 트위터)에 통합된 AI 챗봇입니다. 문제는 Grok의 이미지 생성 기능에서 터졌습니다. 사용자들이 유명인, 정치인, 심지어 일반인의 사진을 기반으로 성적으로 노골적인 딥페이크 이미지를 만들어내기 시작한 겁니다.
조사에 따르면 Grok을 통해 시간당 약 6,700장의 성적 딥페이크 이미지가 생성된 것으로 추정됩니다. 하루로 환산하면 16만 장 이상입니다. 경쟁사인 OpenAI의 DALL-E나 Google의 Imagen이 성적 콘텐츠 생성을 원천 차단하고 있는 것과 극명하게 대비되는 수치입니다.
특히 문제가 된 건 Grok의 안전장치가 경쟁 제품에 비해 현저히 느슨했다는 점입니다. 다른 AI 이미지 생성 도구들이 실제 인물의 얼굴을 사용한 성적 콘텐츠를 강력히 필터링하는 반면, Grok은 비교적 간단한 프롬프트 조작만으로도 이런 콘텐츠를 생성할 수 있었습니다.
프랑스가 먼저 칼을 뽑았다
유럽에서 가장 먼저 행동에 나선 건 프랑스였습니다. 프랑스의 개인정보보호 감독기관인 CNIL은 xAI에 대한 압수수색을 단행했습니다. 핵심 쟁점은 두 가지였습니다.
첫째, Grok이 X 플랫폼의 사용자 데이터를 AI 학습에 동의 없이 활용한 문제입니다. EU의 GDPR은 개인 데이터 처리에 명시적 동의를 요구하는데, xAI는 이를 제대로 지키지 않았다는 의혹을 받고 있습니다.
둘째, 딥페이크 이미지를 통한 초상권 및 인격권 침해 문제입니다. 실존 인물의 동의 없이 성적 이미지를 생성하는 것은 EU 법체계에서 심각한 인권 침해로 간주됩니다.
CNIL의 이번 조치는 AI 기업에 대한 유럽 규제 당국의 첫 번째 대규모 강제 조사라는 점에서 상징적 의미가 큽니다.
각국의 규제 도미노가 시작됐다
프랑스의 움직임은 시작에 불과합니다. 전 세계적으로 딥페이크 규제 논의가 급물살을 타고 있습니다.
EU는 AI Act의 시행과 맞물려 딥페이크 생성 도구에 대한 추가 규제안을 검토 중입니다. 특히 성적 딥페이크를 별도의 고위험 카테고리로 분류하자는 논의가 활발합니다.
영국은 Online Safety Act를 통해 딥페이크 성적 이미지의 공유뿐 아니라 생성 자체를 범죄화하는 방향으로 법안을 강화했습니다. 생성만으로도 최대 2년의 징역형에 처할 수 있습니다.
한국도 예외는 아닙니다. 2024년 텔레그램 딥페이크 사태 이후 성폭력처벌법이 강화되었고, AI 플랫폼 사업자의 책임을 묻는 추가 법안이 논의되고 있습니다. 한국은 이미 딥페이크 성적 콘텐츠에 대해 세계에서 가장 높은 수준인 최대 5년 이하의 징역을 부과하고 있습니다.
호주와 캐나다 역시 AI 생성 성적 콘텐츠에 대한 전용 법률 제정을 추진하고 있습니다.
안전장치 없는 AI, 누구의 책임인가
이번 사건의 핵심은 기술이 아니라 선택의 문제입니다. xAI는 Grok을 출시하면서 검열 최소화를 마케팅 포인트로 내세웠습니다. 머스크 본인이 Grok을 다른 AI보다 더 자유롭고, 정치적으로 올바르지 않은 AI라고 홍보했죠.
문제는 자유와 방임 사이의 경계입니다. 경쟁사들이 수년간 투자해온 안전장치를, xAI는 의도적으로 약화시키거나 후순위로 밀어둔 정황이 있습니다. 이건 기술적 한계가 아니라 비즈니스 전략의 결과입니다.
업계에서는 이를 두고 바닥을 향한 경주라고 부르는 목소리도 나옵니다. 한 플랫폼이 안전장치를 낮추면, 사용자가 그쪽으로 몰리고, 다른 플랫폼도 경쟁 압박을 받게 된다는 겁니다. Grok 사태는 이 악순환의 대표적인 사례가 되었습니다.
피해자는 기술이 아니라 사람이다
숫자 뒤에는 실제 피해자가 있습니다. 딥페이크 성적 이미지의 피해자 중 약 **96%**가 여성이라는 통계는 이 문제가 단순한 기술 오남용이 아니라 젠더 기반 폭력의 연장선에 있음을 보여줍니다.
피해자들은 이미지가 한번 생성되면 삭제가 사실상 불가능하다는 고통을 호소하고 있습니다. AI가 만들어낸 가짜 이미지가 SNS와 메신저를 통해 퍼지는 속도는 삭제 요청이 처리되는 속도와는 비교할 수 없을 만큼 빠릅니다.
특히 10대 청소년이 피해자이자 가해자로 등장하는 사례가 늘고 있다는 점이 우려됩니다. 기술에 대한 접근성은 낮아졌는데, 그 결과에 대한 교육과 인식은 따라가지 못하고 있는 현실입니다.
Grok 딥페이크 스캔들은 AI 산업이 외면해온 불편한 진실을 수면 위로 끌어올렸습니다. 빠르게 만들고, 늦게 책임지는 관행이 더 이상 통하지 않는 시대가 오고 있습니다. 결국 질문은 하나로 모입니다 — AI가 할 수 있는 것과 해도 되는 것 사이에서, 그 선을 긋는 건 누구의 몫일까요?