미스트랄이 '검열하는 AI'를 통째로 풀었다: 3B짜리 모더레이션 모델이 던진 질문

AI 안전 이야기가 나오면 대부분 “모델이 나쁜 말을 하지 않게 막는다"는 쪽으로 흘러갑니다. 그런데 실제 서비스를 운영해본 분들은 압니다. 진짜 골치 아픈 건 모델 자체가 아니라 그 앞뒤에 붙는 검열 레이어라는 걸요. 미스트랄이 이번에 그 레이어를 3B 규모 오픈웨이트 모델로 공개했습니다. 작다고 넘길 일이 아닙니다. 지금까지 남의 API 뒤에 숨어 있던 “무엇이 위험한가"의 판정 기준이 이제 내 서버 안으로 내려왔으니까요.

한 가지 미리 짚습니다. 이 주제로 커뮤니티가 아직 달아오르지는 않았습니다. 레딧 기준 최근 30일 내 유의미한 스레드를 찾지 못했습니다. 그래서 이 글은 실시간 여론을 정리하기보다, 모더레이션 모델이라는 카테고리가 왜 지금 중요해졌는지를 짚는 쪽으로 가겠습니다. 반응이 없다는 것 자체도 신호이긴 한데, 그건 뒤에서 다시 다루겠습니다.

모더레이션 모델이 뭐길래

콘텐츠 모더레이션 모델은 생성하는 모델이 아닙니다. 판정하는 모델입니다. 입력이나 출력을 받아서 “이건 폭력, 이건 성적 콘텐츠, 이건 안전"처럼 라벨을 붙이는 게 전부입니다.

구조는 단순하지만 위치가 중요합니다. 챗봇을 만든다고 하면 흐름은 대략 이렇습니다. 사용자 입력이 들어오면 모더레이션 모델이 먼저 검사합니다. 통과하면 본 모델에 넘깁니다. 본 모델이 만든 답을 다시 모더레이션 모델이 검사하고, 그제야 사용자에게 나갑니다.

모든 요청이 이 작은 모델을 두 번 통과하는 셈입니다. 그래서 크기가 중요합니다. 판정기가 본 모델만큼 크고 느리면 서비스가 두 배로 느려지고 비용도 두 배가 됩니다. 3B라는 숫자가 눈에 띄는 이유가 여기 있습니다. 일반 GPU 한 장, 경우에 따라서는 CPU에서도 돌릴 수 있는 크기입니다.

여기에 멀티모달이 붙었습니다. 텍스트만 거르는 필터는 이미 한계가 명확합니다. 유해한 메시지를 이미지에 얹어서 보내면 그냥 통과합니다. 밈 형태의 혐오 표현이나 스크린샷으로 우회하는 스팸, 이미지 자체가 문제인 경우까지, 텍스트 전용 필터로는 손도 못 대는 영역이 지금 온라인 콘텐츠에 상당히 많습니다.

Llama Guard, OpenAI 모더레이션과 뭐가 다른가

이 시장에 미스트랄이 처음 들어온 건 아닙니다. 크게 두 갈래가 이미 있었습니다.

하나는 OpenAI의 모더레이션 API입니다. 무료에 가깝고 붙이기 쉽습니다. 대신 남의 서버입니다. 검사하려는 콘텐츠를 외부로 보내야 합니다. 유해 콘텐츠를 걸러내겠다고 그 콘텐츠를 통째로 제3자에게 넘기는 셈이죠. 의료 상담이나 사내 문서를 다루는 서비스라면 이 지점에서 바로 막힙니다. 어떤 기준으로 판정하는지 내부를 볼 수도 없고, 어느 날 기준이 조용히 바뀌어도 알 방법이 없습니다.

다른 하나는 메타의 Llama Guard 계열입니다. 가중치를 받아 직접 돌릴 수 있으니 프라이버시 문제는 풀립니다. 실제로 오픈소스 진영에서 사실상 표준처럼 쓰여왔고요. 다만 텍스트 중심이고 라이선스도 완전히 자유롭지는 않아서, 이 두 가지가 늘 걸림돌이었습니다.

미스트랄은 이 둘 사이의 빈칸을 노립니다. 자체 호스팅이 되고 이미지까지 보는 데다, 만든 곳이 유럽 회사입니다. 마지막 항목이 왜 중요한지는 다음 섹션에서 이야기하겠습니다.

하나 덧붙이면, 모더레이션 모델은 벤치마크 점수로 줄 세우기가 유난히 어렵습니다. 생성 모델은 코딩 테스트나 수학 문제로 비교라도 하지만, 모더레이션은 “이게 유해한가"라는 질문 자체에 정답이 없기 때문입니다. 데이터셋을 만든 사람의 기준이 곧 정답이 됩니다. 그러니 발표되는 정확도 수치는 그 회사가 정의한 유해함을 그 회사 모델이 얼마나 잘 재현하는지 보여주는 숫자에 가깝습니다.

EU 디지털서비스법이라는 배경

타이밍을 이해하려면 규제 쪽을 봐야 합니다. EU의 디지털서비스법(DSA)은 온라인 플랫폼에 불법 콘텐츠 대응 의무를 지웁니다. 이용자 신고를 처리할 체계를 갖춰야 하고, 무엇을 왜 삭제했는지 설명할 수 있어야 하고, 큰 플랫폼은 위험 평가 보고서까지 내야 합니다.

핵심은 설명 가능성입니다. 게시물을 내렸으면 근거를 대야 합니다. 그런데 판정을 외부 API에 맡겨두면 이게 곤란해집니다. “저희가 쓰는 외부 서비스가 위험하다고 판단했습니다"는 규제 당국이 받아들일 답변이 아닙니다. 자체 호스팅 모델이라면 어떤 기준을 적용했고 어떤 임계값을 썼는지 최소한 스스로 설명할 수 있습니다.

여기에 데이터 이전 문제가 겹칩니다. 유럽 이용자 데이터를 역외로 보내는 걸 두고 감시는 계속 심해집니다. 모더레이션은 성격상 가장 민감한 콘텐츠만 골라서 처리하는 파이프라인입니다. 그걸 대서양 건너로 보내는 구조는 법무팀 입장에서 반갑지 않습니다.

미스트랄이 유럽 회사인 것도, 굳이 가중치를 공개한 것도 이 맥락에서 읽힙니다. 기술 경쟁만 하는 게 아니라 규제 적합성이라는 축에서도 자리를 잡겠다는 겁니다.

오픈웨이트라서 생기는 새로운 문제

여기까지만 보면 좋은 소식뿐인 것 같습니다. 그런데 방어 도구를 공개하면 따라오는 문제가 있습니다.

필터를 완전히 공개한다는 건 공격자도 그 필터를 손에 넣는다는 뜻입니다. 무엇이 걸리고 무엇이 안 걸리는지 무제한으로 실험할 수 있습니다. 클로즈드 API라면 시도 횟수 제한이나 이상 탐지에 걸리지만, 내 노트북에서 돌리는 모델에는 그런 게 없습니다. 필터를 통과하는 표현을 찾아낼 때까지 계속 두드려볼 수 있습니다.

반대 방향도 있습니다. 안전 필터를 떼어내기도 쉬워집니다. 파이프라인에서 판정기를 빼버리면 그만입니다. 애초에 오픈웨이트 생성 모델을 쓰는 사람이라면 필터를 붙일지 말지도 자기 선택이니까요.

그럼에도 공개가 낫다는 쪽의 논리는 이렇습니다. 보안 분야에서 오래 검증된 관점이기도 한데, 감춰서 얻는 안전은 오래가지 않는다는 겁니다. 공개된 필터는 연구자들이 약점을 찾아 고칠 수 있습니다. 닫힌 필터는 공격자만 조용히 약점을 아는 상태가 됩니다. 어느 쪽이 장기적으로 나은지는 아직 결론이 안 난 논쟁입니다.

진짜 질문은 “누구의 기준인가”

기술적인 이야기를 걷어내면 남는 건 이 질문입니다.

모더레이션 모델은 가치 판단을 코드로 굳힌 것입니다. 어디까지가 정치적 의견이고 어디부터가 혐오 표현인가. 어떤 의학 정보가 유용하고 어떤 게 위험한가. 농담은 어디까지 농담이고 어디부터 선을 넘는가. 이 경계는 나라마다, 문화마다, 사람마다 다릅니다.

지금까지는 이 기준이 미국 서부의 몇몇 회사 안에서 정해졌습니다. 거기서 만든 정책 문서와 라벨링 가이드가 사실상 전 세계 AI 서비스의 안전 기준이 됐습니다. 한국어 맥락에서 자연스러운 표현이 이상하게 걸린 적, 반대로 한국 정서상 명백히 문제인 게 술술 통과한 적. 겪어보신 분들이 있을 겁니다. 기준을 만든 사람들의 세계에 그 사례가 없었기 때문입니다.

오픈웨이트 모더레이션 모델은 이 구조에 균열을 냅니다. 가중치가 있으면 파인튜닝을 할 수 있습니다. 우리 서비스, 우리 언어, 우리 이용자에게 맞는 기준으로 다시 학습시키면 됩니다. 물론 그 기준이 반드시 더 낫다는 보장은 없습니다. 다만 선택지가 생겼다는 것 자체가 이전과는 다릅니다.

동시에 불편한 가능성도 열립니다. 정부나 조직이 자기 입맛에 맞는 검열 필터를 손쉽게 만들 수 있게 됐다는 뜻이기도 하니까요. 특정 주제를 걸러내는 모더레이션 모델을 만드는 일이 이제 기술적으로 어렵지 않습니다. 도구는 방향을 가리지 않습니다.

반응이 조용하다는 신호

앞서 말했듯 이 발표를 두고 커뮤니티가 크게 들썩이지는 않았습니다. 새 생성 모델이 나올 때마다 벤치마크 표가 돌고 논쟁이 붙는 것과는 딴판입니다.

이유는 짐작할 만합니다. 모더레이션 모델은 자랑할 거리가 없습니다. 잘 만들면 아무도 눈치채지 못합니다. 못 만들었을 때만 뉴스가 됩니다. 개발자 입장에서도 “우리 서비스에 이런 필터를 붙였습니다"는 홍보 포인트가 아니라 그냥 하는 일입니다.

그래서 이런 발표는 조용히 지나가고, 몇 달 뒤에 보면 사실상 표준이 되어 있곤 합니다. Llama Guard도 처음엔 그랬습니다. 화제성과 실제 채택률은 별개입니다.

지금 AI 서비스를 운영하신다면 한 번쯤 확인해보시면 좋겠습니다. 우리 서비스의 안전 판정은 지금 누가 하고 있나요. 그 기준은 어디에 적혀 있고, 바뀌면 우리가 알 수 있나요. 우리 이용자가 쓰는 언어와 맥락을 그 기준이 알고 있나요. 모델을 고르는 일은 성능표 비교로 끝나지 않습니다. 누구의 판단을 빌려 쓸지 정하는 일이기도 합니다.