AI가 만든 가짜 판례, 법정을 뒤흔들다 — 2026년에도 멈추지 않는 환각의 대가

ChatGPT에게 “이 사건과 비슷한 판례 찾아줘"라고 물으면, 그럴듯한 사건명과 판례 번호가 줄줄이 나옵니다. 문제는 그중 상당수가 이 세상에 존재한 적 없는 판례라는 겁니다. 2023년부터 시작된 AI 환각발 법정 사고는 2026년인 지금까지도 현재진행형입니다. 변호사가 징계를 받고, 재판이 지연되고, 의뢰인은 피해를 봅니다.

시작은 마타 대 아비앙카였다

2023년 6월, 뉴욕의 변호사 스티븐 슈워츠는 항공사 아비앙카를 상대로 한 소송에서 ChatGPT가 생성한 판례 6건을 법원에 제출했습니다. 판례 이름도 있고, 인용 번호도 있었지만, 단 하나도 실존하지 않았습니다. 담당 판사가 확인을 요청하자, 슈워츠는 ChatGPT에게 다시 물었고 AI는 “해당 판례는 실존합니다"라고 답했습니다. AI가 만든 거짓말을 AI가 다시 보증한 셈입니다.

이 사건은 전 세계 뉴스에 보도되며 AI 환각 문제를 수면 위로 끌어올렸습니다. 슈워츠와 동료 변호사는 5,000달러의 벌금을 부과받았습니다. 금액 자체는 크지 않았지만, 법조계에 던진 충격파는 거대했습니다.

한두 건이 아니다, 줄줄이 터지는 사고들

마타 사건이 경종을 울렸음에도 비슷한 사고는 계속됐습니다. 이후 보고된 주요 사례만 추려도 상당합니다.

2023년 말 콜로라도주에서는 이혼 소송 변호사가 AI가 생성한 허위 판례를 인용하다 적발됐습니다. 2024년에는 텍사스, 캘리포니아, 플로리다 등 미국 각지에서 유사 사건이 잇따랐고, 캐나다와 영국 법정에서도 AI가 만들어낸 가짜 판례가 발견됐습니다. 한 통계에 따르면 2024년 한 해에만 미국 법원에서 AI 환각 관련 징계 사건이 수십 건 보고됐습니다.

2025년과 2026년에도 흐름은 바뀌지 않았습니다. 오히려 AI 도구 사용이 보편화되면서, 경험이 부족한 변호사나 본인 소송 당사자들이 검증 없이 AI 결과물을 법정에 가져오는 사례가 늘었습니다. “AI Hallucinations in Court: Case Studies of Lawyers Sanctioned for AI-Invented Legal Sources"라는 제목의 법률 교육 영상이 2026년 3월에도 새로 올라올 정도로, 이 문제는 여전히 현장의 뜨거운 이슈입니다.

왜 AI는 없는 판례를 만들어내는가

대형 언어 모델은 본질적으로 패턴 생성기입니다. “이 맥락에서 다음에 올 확률이 가장 높은 단어"를 이어붙이는 방식으로 작동합니다. 판례를 검색하는 게 아니라, 판례처럼 보이는 텍스트를 만들어내는 겁니다.

법률 판례는 특히 환각에 취약한 영역입니다. 사건명은 “OO v. OO” 형식이고, 인용 번호는 숫자와 약어의 조합이라 AI가 그럴듯하게 조합하기 쉽습니다. 게다가 결과물이 워낙 자신감 있게 제시되니, 법률 데이터베이스에서 직접 대조해보지 않는 한 가짜인지 알아차리기 어렵습니다.

쉽게 말하면 이렇습니다. AI는 법률 도서관에서 책을 꺼내오는 게 아니라, 법률 도서관에 있을 법한 책의 표지를 그려내는 겁니다.

법조계는 어떻게 대응하고 있나

각국 법원은 속속 대응 지침을 내놓고 있습니다.

미국 연방법원 다수는 AI 사용 시 이를 공개하도록 의무화하는 로컬 룰을 도입했습니다. AI로 작성된 서면을 제출할 경우, 어떤 AI 도구를 사용했는지 밝히고 모든 인용 출처를 독립적으로 검증했음을 확인해야 합니다. 일부 판사는 아예 서면에 “AI 생성 콘텐츠 포함 여부” 체크란을 추가했습니다.

미국변호사협회(ABA)는 2024년 공식 결의안을 통해 변호사의 AI 사용에 대한 윤리 지침을 발표했고, 여러 주 변호사협회도 자체 가이드라인을 마련했습니다. 핵심 메시지는 일관됩니다. AI는 도구일 뿐이고, 최종 검증 책임은 변호사에게 있다는 것입니다.

영국, 호주, 캐나다 법원도 비슷한 방향으로 움직이고 있습니다. AI가 법률 실무에 들어오는 건 막을 수 없으니, 사용의 투명성과 검증 의무를 강화하는 쪽으로 제도를 정비하는 추세입니다.

진짜 피해자는 의뢰인이다

이 문제에서 가장 간과되는 부분이 있습니다. 벌금을 내는 건 변호사지만, 진짜 타격을 받는 건 의뢰인입니다.

가짜 판례가 발각되면 해당 서면은 무효가 됩니다. 소송 전략은 처음부터 다시 짜야 하고, 재판은 지연됩니다. 판사와 상대 측의 신뢰를 잃는 건 덤입니다. 이미 여러 사건에서 AI 환각으로 인해 사건이 기각되거나 불리한 판결을 받은 사례가 보고됐습니다.

돈을 주고 변호사를 고용한 의뢰인 입장에서는 황당한 일입니다. 내 변호사가 존재하지도 않는 판례를 근거로 싸우고 있었다니요.

AI 시대, 전문가의 역할은 사라지지 않는다

AI 환각 문제가 던지는 메시지는 명확합니다. AI는 강력한 보조 도구이지만, 전문 영역에서 인간의 검증을 대체할 수는 없습니다. 법률뿐 아니라 의료, 금융, 학술 등 정확성이 생명인 분야에서 AI 결과물을 무비판적으로 수용하는 건 위험합니다.

법정에서 벌어지는 AI 환각 사고는 앞으로도 당분간 계속될 겁니다. AI 도구는 더 보편화되고, 모든 사용자가 그 한계를 정확히 이해하고 있지는 않으니까요. 결국 관건은 기술 자체가 아니라, 기술을 사용하는 사람의 리터러시입니다.

AI에게 답을 구하되, 그 답을 믿기 전에 확인하는 습관. 지금 이 시대에 가장 필요한 역량이 아닐까요.