같은 이력서를 세 번 넣었더니 90점, 74점, 88점: 오픈소스로 까본 AI 채용 필터의 민낯

요즘 이력서 한 장이 사람 눈에 닿기까지가 가장 큰 관문입니다. 지원서가 채용 담당자에게 가기 전에 AI 필터가 먼저 점수를 매기기 때문인데요. 그런데 똑같은 이력서를 같은 시스템에 세 번 넣었더니 점수가 90점, 74점, 88점으로 제각각이었다는 실험 결과가 나왔습니다. 무려 16점 차이입니다. 당신의 합격과 불합격이 동전 던지기에 가깝다면, 그게 과연 공정한 평가일까요.

채용의 첫 관문은 사람이 아니라 코드입니다

먼저 용어부터 정리하겠습니다. ATS는 Applicant Tracking System, 우리말로 지원자 추적 시스템입니다. 기업이 받은 수천 장의 이력서를 자동으로 분류하고 점수를 매기는 소프트웨어인데요. 대기업일수록 거의 예외 없이 씁니다.

문제는 이 시스템이 사실상 1차 면접관이라는 점입니다. 사람 채용 담당자가 모든 이력서를 읽는 시대는 끝났습니다. AI가 먼저 거르고, 일정 점수 이상만 사람에게 넘어갑니다. 즉 점수가 낮으면 당신의 이력서는 사람 눈에 닿지도 못하고 사라집니다.

여기서 핵심 질문이 생깁니다. 그 점수, 믿을 만한가요.

같은 입력, 다른 출력: 재현성이 없습니다

오픈소스로 공개된 이력서 스크리닝 도구를 뜯어본 개발자들이 공통으로 지적한 문제가 있습니다. 재현성이 없다는 겁니다.

재현성이란 같은 입력을 넣으면 같은 출력이 나와야 한다는 뜻입니다. 계산기에 2 더하기 2를 입력하면 언제나 4가 나오는 것처럼요. 그런데 LLM 기반 이력서 평가기는 그렇지 않았습니다.

이유는 두 가지입니다. 첫째, 많은 도구가 내부적으로 대형 언어 모델을 호출하는데 이때 temperature라는 설정값이 0이 아니면 매번 답이 조금씩 달라집니다. temperature는 모델의 답변에 무작위성을 얼마나 줄지 정하는 값인데요. 창의적인 글쓰기엔 좋지만, 점수 매기기엔 독입니다. 둘째, 프롬프트에 이력서 텍스트를 통째로 밀어 넣다 보니 문서 길이나 줄바꿈 위치 같은 사소한 차이에도 결과가 출렁입니다.

정리하면 이렇습니다. 당신의 합격 여부가 이력서의 실력이 아니라, 그날 모델이 굴린 주사위에 달려 있을 수 있다는 겁니다.

키워드 게임으로 전락한 평가

오픈소스 코드를 열어보면 또 하나 드러나는 게 있습니다. 상당수 스크리닝 로직이 결국 키워드 매칭에 기대고 있다는 점입니다.

채용 공고에 적힌 단어와 이력서에 적힌 단어가 얼마나 겹치는지를 점수의 큰 축으로 삼는 방식인데요. 그럴듯해 보이지만 허점이 많습니다. 같은 의미라도 표현이 다르면 점수를 못 받습니다. 예를 들어 공고엔 “Node.js"라고 적혀 있는데 지원자가 “노드"라고만 썼다면 매칭에 실패할 수 있습니다.

이 구조의 가장 큰 부작용은 꼼수에 취약하다는 겁니다. 실제로 일부 지원자는 이력서 흰 바탕에 흰 글씨로 키워드를 잔뜩 숨겨 넣습니다. 사람 눈엔 안 보이지만 텍스트를 긁어가는 AI에는 보입니다. 실력보다 시스템을 속이는 기술이 합격을 가르는 셈입니다. 정직하게 쓴 사람이 손해 보는 구조라면, 그건 필터가 아니라 함정에 가깝습니다.

그런데 왜 오픈소스가 중요할까요

여기서 짚고 넘어갈 부분이 있습니다. 위에서 언급한 문제들은 사실 상용 ATS에도 똑같이, 어쩌면 더 심하게 존재할 가능성이 큽니다. 다만 우리가 그걸 확인할 수 없을 뿐입니다.

상용 시스템은 내부 로직이 영업 비밀입니다. 어떤 기준으로 점수를 매기는지, 어떤 편향이 들어 있는지 외부에서 알 길이 없습니다. 떨어진 지원자는 이유조차 모릅니다.

오픈소스의 가치가 바로 여기 있습니다. 코드가 공개돼 있으니 누구나 뜯어보고 “이 점수 이상한데"라고 말할 수 있습니다. 이번에 채점 불안정성이 드러난 것도 코드가 열려 있었기 때문입니다. 역설적이게도, 문제를 들킨 시스템이 문제를 숨긴 시스템보다 더 정직한 셈입니다. 진짜 위험은 까볼 수 없는 블랙박스 안에 있습니다.

우리는 무엇을 점검해야 할까요

이번 사례는 단순한 버그 리포트가 아닙니다. AI 자동화를 채용처럼 사람의 인생이 걸린 결정에 들이밀 때 어떤 검증이 필요한지 보여주는 사례입니다.

최소한 세 가지는 따져봐야 합니다. 첫째, 재현성입니다. 같은 이력서엔 같은 점수가 나와야 합니다. 점수 매기기에 temperature 0을 강제하는 건 기본 중의 기본입니다. 둘째, 설명 가능성입니다. 왜 이 점수가 나왔는지 지원자에게 설명할 수 있어야 합니다. 셋째, 사람의 최종 판단입니다. AI는 보조 도구일 뿐, 합불을 단독으로 결정하게 두면 안 됩니다.

채용 담당자라면 지금 쓰는 시스템에 같은 이력서를 두세 번 넣어보시길 권합니다. 점수가 흔들린다면, 그 시스템은 사람을 평가하는 게 아니라 운을 평가하고 있는 겁니다. 그리고 지원자인 우리는 이런 질문을 던질 때가 됐습니다. 내 탈락을 결정한 그 점수는, 과연 두 번째에도 같은 숫자였을까요.