AI는 편견도 발명한다: 에이전트 시대에 필요한 새로운 안전 기준

지금까지 AI 편향은 주로 학습 데이터에서 비롯된 문제로 설명됐습니다. 하지만 LLM이 직접 행동하고 그 결과를 학습하는 에이전트가 되면 얘기가 달라집니다. AI가 기존 편견을 되풀이하는 데 그치지 않고, 상호작용하면서 새로운 편견을 만들어낼 수 있기 때문입니다.

데이터에 없던 편견은 어떻게 생길까요

LLM의 편향을 설명할 때 거울이라는 비유를 자주 씁니다. 인터넷과 책에 담긴 인간 사회의 편견을 학습한 뒤 답변에 그대로 비춘다는 뜻입니다.

하지만 AI 에이전트는 거울보다는 플레이어에 가깝습니다. 여러 선택지를 시험해 결과를 비교하고, 더 높은 보상을 받은 행동을 반복합니다. 이를 적응형 탐색이라고 부릅니다.

문제는 탐색 과정에서 생긴 우연한 차이가 규칙으로 굳을 수 있다는 점입니다. 특정 집단과 협력했을 때 두세 번 좋은 결과가 나왔다고 가정해 보겠습니다. 에이전트는 우연히 나온 결과를 그 집단의 일반적인 특성으로 오해할 수 있습니다. 반대 집단을 피하기 시작하면 경험이 쌓이지 않아 잘못된 판단을 바로잡을 기회마저 사라집니다.

처음에는 작은 통계적 우연에 불과했지만, 시간이 지나면 행동 원칙으로 굳어집니다. 학습 데이터에 명시적으로 존재하지 않았던 편견이 이렇게 생겨납니다.

편견이 행동으로 이어지면 위험은 커집니다

챗봇이 편향된 문장을 내놓으면 사람이 읽고 문제를 발견할 수 있습니다. 반면 에이전트의 편향은 추천, 배정, 협상 같은 행동 속에 숨어들 수 있습니다.

채용 에이전트가 특정 배경의 지원자에게만 추가 질문을 제공할 수 있습니다. 영업 에이전트는 일부 고객에게 더 좋은 조건을 먼저 제시할 수 있습니다. 업무 배정 시스템은 과거에 성과가 좋았던 유형의 사람에게 중요한 일을 계속 몰아줄 수 있습니다.

결정 하나만 떼어 놓고 보면 합리적인 최적화처럼 보입니다. 하지만 이런 결정이 반복되면 기회부터 불균등하게 돌아갑니다. 기회를 받은 집단에는 성과 데이터가 더 많이 쌓이고, 시스템은 이를 보며 자신의 판단이 옳았다고 학습합니다.

이런 구조를 자기강화 루프라고 합니다. 편향된 판단이 현실을 바꾸고, 그렇게 바뀐 현실이 다시 편향의 근거가 됩니다.

정확도만 측정해서는 잡을 수 없습니다

기존 LLM 안전 평가는 정해진 질문에 어떤 답을 내놓는지 확인하는 경우가 많았습니다. 공격적인 문장을 생성하는지, 성별이나 인종에 따라 답변이 달라지는지 살펴보는 식입니다.

에이전트 시대에는 한 번의 답변보다 행동의 궤적을 봐야 합니다. 같은 조건에서 누구를 선택했는지, 실패한 뒤 전략을 어떻게 바꿨는지, 특정 집단을 계속 피하지는 않았는지 확인해야 합니다.

평가 기간도 길게 잡아야 합니다. 첫 번째 선택에서는 공정했던 에이전트가 100번의 상호작용 뒤에는 전혀 다른 규칙을 만들 수 있기 때문입니다. 처음과 끝만 비교하면 그사이에 편견이 생긴 원인을 놓치기 쉽습니다.

보상 함수도 들여다봐야 합니다. 성과와 속도만 보상하면 에이전트는 공정성을 비용으로 여길 수 있습니다. “차별하지 말라”는 문장 하나를 넣는 것보다 탐색 방식과 보상 구조를 함께 설계하는 일이 중요합니다.

필요한 것은 편견 목록이 아니라 변화 감시입니다

새로 생기는 편견은 미리 만든 금지어 목록만으로 막기 어렵습니다. 어떤 기준이 차별에 이용될지 사전에 모두 예측할 수 없기 때문입니다.

대신 운영 중인 에이전트의 선택이 시간에 따라 어떻게 달라지는지 추적해야 합니다. 조건이 비슷한 대상에게 비슷한 기회가 주어지는지도 비교해야 합니다. 한 집단에 대한 경험 부족이 그 집단을 피하는 행동으로 이어지는지도 살펴봐야 합니다.

사람이 언제 개입할지도 분명히 정해둬야 합니다. 영향이 큰 결정은 자동으로 실행하기 전에 검토하도록 만들 수 있습니다. 이상 행동이 쌓이면 에이전트의 권한을 줄이거나 탐색 기록을 다시 조사하는 장치도 필요합니다.

최근 30일 동안에는 이 주제를 직접 다룬 커뮤니티 논의가 확인되지 않았습니다. 따라서 온라인 반응의 규모나 논문의 구체적인 실험 수치를 단정하기는 어렵습니다. 다만 공개된 문제의식만으로도 안전 평가의 초점을 데이터에서 행동 과정까지 넓혀야 한다는 점은 분명합니다.

AI 편향은 더 이상 과거 데이터에 남은 얼룩만의 문제가 아닙니다. 스스로 탐색하고 결정하는 시스템에서는 편견도 새로 생길 수 있습니다. 이제는 에이전트가 무엇을 말했는지만 볼 게 아니라, 무엇을 경험했고 그 과정에서 어떤 규칙을 만들었는지까지 따져봐야 합니다.