AI 모델을 토렌트로 보존한다면, 삭제 버튼은 누구의 것일까요?

핵심 요약

• 중앙 저장소에서 모델을 삭제해도 이미 배포된 복사본까지 사라지지는 않습니다.
• BitTorrent는 참여자끼리 파일을 공유하지만 영구 보존을 보장하지는 않습니다.
• 모델을 다시 쓰려면 가중치 외에도 실행에 필요한 코드와 설정이 중요합니다.
• 분산 보존으로 모델이 더 오래 남을 수 있지만, 배포자가 회수하기는 그만큼 어려워집니다.

어제 AI 모델을 내려받은 주소가 오늘 사라졌다고 해보겠습니다. 그 모델로 서비스를 만들거나 실험을 하고 있었다면 다운로드 페이지 하나의 문제로 끝나지 않습니다. AI 모델을 토렌트로 보존하자는 생각은 이런 상황에서 나옵니다.

공개된 모델도 누군가의 저장소에 있습니다

Hugging Face 같은 플랫폼에서 AI 모델을 찾고 내려받을 수 있습니다. 하지만 파일이 공개돼 있다고 해서 앞으로도 같은 주소에서 계속 받을 수 있는 것은 아닙니다.

모델의 핵심 파일인 가중치에는 학습 과정에서 얻은 수많은 숫자가 들어 있습니다. 사용자가 이 파일을 내려받았다면 원래 저장소가 사라져도 그 복사본은 남을 수 있습니다.

문제는 나중에 모델을 찾는 사람입니다. 기존 사용자의 컴퓨터 어딘가에 파일이 남아 있어도 다른 사람이 찾아서 받을 길이 없다면 보존해둔 의미가 크지 않습니다. 혼자 백업해두는 것과 여럿이 꺼내 쓸 수 있게 보관하는 것은 다릅니다.

토렌트는 삭제를 어렵게 해도 보존까지 보장하지는 않습니다

BitTorrent는 파일을 여러 조각으로 나누어 참여자끼리 주고받는 방식입니다. 한 서버가 모든 다운로드를 맡는 대신, 파일을 받은 사람도 다른 사람에게 조각을 보내줄 수 있습니다.

AI 모델을 이렇게 공유하면 원래 배포 서버가 사라져도 계속 내려받을 수 있습니다. 배포자가 저장소의 삭제 버튼을 눌러도 다른 참여자의 복사본까지 함께 지워지지는 않습니다.

그렇다고 토렌트 주소만 남겨두면 되는 것은 아닙니다. 필요한 조각을 보내주는 참여자가 있어야 파일 전체를 받을 수 있습니다. 모두가 공유를 멈추면 주소가 남아 있어도 다운로드는 멈춥니다.

분산 보존에도 누군가의 디스크와 네트워크가 필요합니다. 서버 운영자가 맡았던 일이 없어지는 것은 아닙니다. 여러 참여자가 그 일을 나누어 맡는 셈입니다.

가중치와 함께 남겨야 할 것들

모델 파일을 구했다고 바로 실행할 수 있는 것은 아닙니다. 모델에 따라 구조를 설명하는 설정과 실행 코드가 필요하고, 텍스트를 처리하는 토크나이저도 있어야 합니다. 토크나이저는 문장을 모델이 다룰 수 있는 단위로 바꾸는 도구입니다.

가중치는 보존했는데 필요한 코드와 설정을 잃어버렸다고 해보겠습니다. 파일이 남아 있어도 다시 쓰기까지 상당한 시간이 들 수 있습니다. 실험에 정확히 어떤 버전을 썼는지마저 불분명하다면 결과를 비교하기도 어려워집니다.

그래서 큰 파일 하나만 보관해서는 부족합니다. 어떤 버전이고 어떻게 실행하는지 알 수 있어야 합니다. 어떤 이용 조건으로 공개했는지도 함께 남겨야 합니다.

파일이 바뀌었는지 확인하는 해시값도 도움이 됩니다. 다만 같은 파일인지 확인했다고 해서 그 모델이 안전하고 믿을 만하다는 뜻은 아닙니다. 모델을 신뢰할 수 있는지는 따로 판단해야 합니다.

모델을 남길 이유도, 내릴 이유도 있습니다

사용자는 같은 모델로 실험을 다시 해보거나 기존 서비스를 유지하려고 모델을 보존합니다. 새 버전이 나왔을 때 성능을 비교하려면 이전 모델도 꺼내 쓸 수 있어야 합니다.

배포자에게도 파일을 내릴 이유가 있을 수 있습니다. 잘못된 버전을 올렸거나 공개한 뒤에 문제를 발견했을 수 있습니다. 특정 모델에서 실제로 이런 일이 있었다는 이야기는 아닙니다. 보존 방식을 정할 때 이런 경우도 고려해야 한다는 뜻입니다.

토렌트가 이런 판단을 대신해주지는 않습니다. 한쪽에서 배포를 중단해도 다른 곳에서 계속 공유할 수 있게 해줄 뿐입니다. 누구나 다운로드할 수 있다고 해서 재배포까지 무제한 허용했다고 볼 수도 없습니다. 공개 범위와 이용 조건은 따로 살펴야 합니다.

“누가 원래 저장소를 내릴 수 있는가”와 “누가 이미 퍼진 복사본의 공유를 멈출 수 있는가”는 서로 다른 질문입니다. 분산 배포는 특히 두 번째 질문의 답을 바꿉니다. 원래 저장소를 내릴 수 있어도 다른 곳의 공유까지 멈출 수 있는 것은 아니기 때문입니다.

AI 모델을 오래 보존하려면 파일과 함께 출처·버전·이용 조건도 남겨야 합니다. 공개된 모델을 지울 권한을 따질 때는 삭제 이후에도 남을 복사본을 누가 어떤 설명과 함께 관리할지도 살펴야 합니다. 보관소에 기대하는 것도 파일이 지워지지 않는 데서 끝나지 않습니다. 시간이 지난 뒤에도 믿고 다시 쓸 수 있어야 합니다.