논문을 안 내는 AI 랩들 — 트랜스포머를 공짜로 뿌렸던 업계가 문을 닫았습니다

2017년 6월, 구글 연구원 여덟 명이 「Attention Is All You Need」라는 논문을 arXiv에 올렸습니다. 트랜스포머 구조를 설명한 그 논문 덕분에 오늘의 ChatGPT도, Claude도, Gemini도 존재합니다. 구글은 그 대가로 아무것도 받지 않았습니다. 9년이 지난 지금, 그 논문을 발판 삼아 수천억 달러 가치가 된 회사들은 자기가 무엇을 하는지 거의 말하지 않습니다.

기술 보고서라는 이름의 마케팅 자료

바뀐 건 문서 두께가 아니라 내용입니다. 2020년 GPT-3 논문은 75페이지였습니다. 파라미터 수, 학습 데이터 구성, 배치 사이즈, 학습률 스케줄까지 적혀 있었습니다. 대학원생이 읽고 축소판을 재현할 수 있는 수준이었죠.

2023년 GPT-4 기술 보고서는 98페이지였습니다. 더 길어졌는데 정작 모델 크기도 구조도 학습 데이터도 없습니다. 보고서는 첫 페이지에서 “경쟁 환경과 안전상의 함의를 고려해” 세부 사항을 공개하지 않는다고 밝혔습니다. 그 뒤로 나온 프론티어 모델 문서는 대체로 이 형식을 따릅니다. 벤치마크 점수 그래프, 안전성 평가 요약, “우리 모델이 얼마나 좋아졌는지"를 설명하는 대목. 재현에 필요한 정보는 없습니다.

업계에서는 이걸 논문이라 부르지 않고 모델 카드나 시스템 카드라고 부릅니다. 이름이 바뀐 게 중요합니다. 논문은 검증받겠다는 선언이고, 카드는 알려주겠다는 통보니까요.

왜 닫혔나

첫째는 돈입니다. 프론티어 모델 한 번 학습시키는 데 드는 비용이 수억 달러 규모로 올라왔습니다. 예전엔 논문 한 편이 회사의 자산이었지만, 이제는 학습 레시피 자체가 자산입니다. 어떤 데이터를 어떤 순서로 먹였는지, 강화학습 단계에서 무엇을 보상으로 줬는지가 곧 경쟁 우위입니다. 이걸 공개하는 건 경쟁사에 수억 달러를 기부하는 셈입니다.

둘째는 인재 시장입니다. 예전에는 논문이 채용 도구였습니다. NeurIPS에 논문을 내면 좋은 사람이 찾아왔죠. 지금은 반대 압력이 생겼습니다. 논문에 이름이 실린 연구자는 곧바로 경쟁사 리크루터의 표적이 됩니다. 실제로 2024년 이후 프론티어 랩 연구자의 이직 규모와 계약금은 스포츠 선수 수준으로 보도됩니다. 논문을 내면 인재를 뽑는 게 아니라 빼앗깁니다.

셋째는 법무팀입니다. 학습 데이터 구성을 자세히 적는 건 저작권 소송에서 원고 측에 증거를 넘겨주는 일입니다. 뉴욕타임스를 비롯한 여러 소송이 걸려 있는 마당에, 데이터셋을 상세히 밝힌 논문은 리스크 그 자체입니다. 안전상의 이유라는 명분에 진심인 구석도 있겠지만, 법무 리스크와 편리하게 겹칩니다.

대가는 대학이 먼저 치릅니다

이 변화로 가장 먼저 손해를 보는 쪽은 대학 연구실입니다. 논문 없이는 후속 연구가 안 됩니다. 왜 이 모델이 이런 실수를 하는지 연구하려면 최소한 구조를 알아야 합니다. 구조를 모르면 API를 두드려서 겉으로 드러나는 행동만 관찰할 수밖에 없습니다. 학계가 블랙박스 심리학을 하게 된 셈입니다.

더 근본적인 문제는 재현성입니다. 과학의 기본은 남이 내 결과를 다시 만들어볼 수 있느냐입니다. 벤치마크 점수만 있고 방법이 없으면 그건 주장이지 결과가 아닙니다. 지금 AI 분야에서 가장 영향력 있는 성과가 동료 심사도 거치지 않은 채 재현 불가능한 형태로 나옵니다. 물리학이나 생물학에서 이런 일이 벌어지면 스캔들이 됐을 겁니다.

안전 연구도 마찬가지입니다. 외부 연구자가 위험을 검증하려면 내부를 봐야 합니다. 랩들은 안전을 이유로 정보를 닫았는데, 그 바람에 안전을 검증할 수 있는 사람도 랩 안에 있는 사람뿐입니다. 채점자와 응시자가 같은 사람인 구조입니다.

그런데 완전히 닫힌 건 아닙니다

그렇다고 프론티어 랩이 연구를 아예 안 하는 건 아닙니다. 어떤 분야에서는 오히려 활발합니다. 해석가능성 연구가 대표적입니다. 앤트로픽은 모델 내부를 들여다보는 연구를 꾸준히 공개하고 스파스 오토인코더로 특징을 뽑아내는 작업 같은 건 꽤 상세히 나옵니다. 오픈AI도 정렬 관련 연구는 내놓습니다.

패턴이 보입니다. 경쟁 우위가 아닌 것은 공개하고, 경쟁 우위인 것은 닫는다는 겁니다. 해석가능성은 공개해도 경쟁사가 더 좋은 모델을 만들지 못합니다. 오히려 안전에 진지하다는 평판이 생기고 규제 당국에도 좋은 인상을 줍니다. 반면 학습 레시피는 공개하는 순간 경쟁사한테 그대로 이득입니다.

이 공백은 중국 랩들이 파고들었습니다. 딥시크가 2024년 말 상세한 기술 보고서와 함께 모델을 내놨을 때 서구 연구자들이 놀란 건 성능만이 아니었습니다. 방법을 적어놨다는 점이었죠. 이후 알리바바 Qwen 계열을 포함해 중국 쪽 오픈 웨이트 모델이 학계의 실질적인 연구 대상이 되었습니다. 미국 랩이 만든 최고 모델의 내부는 아무도 모르고, 중국 랩이 만든 모델의 내부는 누구나 아는 상황. 개방성 경쟁의 축이 이렇게 뒤집힐 줄 10년 전에 예측한 사람은 별로 없을 겁니다.

이 흐름이 어디로 가는가

역사에 비슷한 사례가 있습니다. 1925년 벨 연구소는 AT&T의 사내 조직이었지만 트랜지스터를 발명하고 논문을 냈습니다. 독점 이익이 넉넉해 기초 연구에 돈을 쓸 여유가 있었고, 규제 당국의 눈치도 봐야 했습니다. 반면 진짜 경쟁이 치열해진 산업에서는 기업 연구소가 폐쇄적으로 변하거나 사라졌습니다.

지금 AI 업계는 후자 쪽입니다. 경쟁이 극심하고 승자가 다 먹을 가능성이 있습니다. 학습 비용은 천문학적입니다. 이 조건에서 자발적 개방을 기대하는 건 순진한 얘기입니다. 바뀐다면 외부 압력으로 바뀔 겁니다. EU AI Act처럼 학습 데이터 요약 공개를 요구하는 규제일 수도 있고, 대형 소송에서 강제 개시되는 정보일 수도 있습니다. 정부 자금이 들어간 컴퓨트에 공개 조건을 붙이는 방법도 있고요.

한 가지 덧붙이면, 이 주제는 커뮤니티에서 크게 논의되는 편이 아닙니다. 이번에 최근 30일 커뮤니티 반응을 찾아봤는데 관련 스레드가 거의 없었습니다. 벤치마크 순위나 신모델 출시에는 수천 개 댓글이 붙지만, 논문이 안 나오는 것에는 아무도 화내지 않습니다. 어쩌면 그게 이 문제의 가장 정확한 요약일지도 모릅니다. 아무도 아쉬워하지 않는 사이에 조용히 닫혔다는 것.

마무리

트랜스포머 논문이 공짜였기 때문에 지금의 AI 산업이 있습니다. 그런데 그 산업은 다음 세대에게 같은 선물을 넘겨주지 않기로 한 모양입니다. 지금의 폐쇄성이 합리적인 경영 판단이라는 건 인정할 수밖에 없습니다. 다만 합리적인 개별 선택이 모여 전체로는 나쁜 결과를 만드는 일은 흔합니다. 2035년의 AI 연구자가 지금 시기를 돌아볼 때, 무엇이 사라졌는지 알 수 있을까요. 알 수 없다는 게 문제입니다.