5학년 수준 글만 먹고 자란 LLM, 왜 갑자기 화제가 됐을까

요즘 AI 커뮤니티에 조금 엉뚱한 실험 이야기가 돕니다. 논문과 코드, 위키백과, 인터넷 전체를 긁어모은 데이터 대신 초등학교 5학년이 읽을 수 있는 수준의 글만으로 언어 모델을 학습시켜 보자는 시도입니다. 상식적으로는 “그럼 5학년 수준밖에 못하겠지"가 정답 같은데, 결과는 그렇게 단순하지 않았습니다.

솔직하게 밝히자면, 이 주제로 지난 30일간의 커뮤니티 데이터를 뒤져봤지만 확인된 최신 스레드는 없었습니다. 그래서 이 글은 특정 실험의 수치 보고가 아닙니다. 이 아이디어가 왜 자꾸 돌아오는지에 관한 이야기로 읽어주시면 좋겠습니다. 계보 자체는 꽤 두껍습니다.

작은 모델이 이미 증명한 것

출발점은 마이크로소프트의 TinyStories 실험입니다. 3~4세 아이가 알아들을 만한 어휘로만 짧은 이야기를 잔뜩 지어내서, 수천만 개 파라미터짜리 초소형 모델을 학습시켰습니다. 당시 상식으로는 이 정도 크기면 문법도 제대로 못 맞추는 게 정상이었습니다.

그런데 결과가 달랐습니다. 문법에 맞고 앞뒤가 이어졌습니다. 이야기의 결말까지 그럴듯하게 지어냈습니다. 데이터의 양이 아니라 일관성이 문제였던 겁니다. 잡음이 적고 구조가 명확한 텍스트를 주면 모델은 훨씬 적은 자원으로도 언어의 뼈대를 배웠습니다.

이어진 Phi 시리즈는 이 발상을 더 밀어붙였습니다. “교과서 수준의 데이터"라는 표현을 내걸고 인터넷 쓰레기를 걷어낸 고품질 데이터만 골라 썼습니다. 수십 배 큰 모델과 벤치마크에서 겨루는 성과를 냈고, 데이터 품질이 곧 성능이라는 주장에 힘을 실었습니다.

그래서 커리큘럼 러닝이 다시 소환됐습니다

사람은 미적분을 배우기 전에 덧셈을 배웁니다. 이 순서를 모델에게도 적용하자는 게 커리큘럼 러닝입니다. 개념 자체는 2009년 요슈아 벤지오 팀이 정리했으니 새로울 것도 없습니다.

문제는 대규모 언어 모델 시대에 들어서면서 이 아이디어가 이상하게 힘을 못 썼다는 겁니다. 현실의 사전학습은 그냥 거대한 데이터를 무작위로 섞어서 한 번에 밀어 넣습니다. 순서를 정교하게 짜면 좋아진다는 실험 결과도 있지만, 대규모에서는 효과가 사라지거나 오히려 나빠진다는 보고도 만만치 않습니다.

이유를 두고 나오는 설명은 대략 이렇습니다. 데이터가 충분히 크면 모델이 알아서 쉬운 패턴부터 배우니 굳이 순서를 강제할 이유가 없다는 겁니다. 커리큘럼은 데이터가 적을 때 빛나는 기법일 수 있다는 이야기이기도 합니다.

쉬운 글만 먹이면 정말 괜찮을까

여기가 논쟁의 핵심입니다. 회의적인 쪽의 지적은 날카롭습니다. 5학년 수준 텍스트에는 애초에 존재하지 않는 지식이 있습니다. 미분방정식이나 분산 시스템 설계, 법률 논증 같은 건 쉬운 문장으로 다시 쓴다고 담기지 않습니다. 표현을 단순하게 만드는 일과 개념을 아예 빼버리는 일은 다릅니다.

문장 구조도 걸립니다. 어려운 글에는 긴 종속절과 중첩된 조건이 나오고, 유보와 반박이 한 문장 안에 얽힙니다. 이런 구조를 한 번도 못 본 모델이 복잡한 추론을 표현할 수 있을까요. 언어의 복잡도와 사고의 복잡도는 완전히 분리되지 않습니다.

반대편 반론도 설득력이 있습니다. 어차피 요즘 학습 파이프라인은 2단계 이상입니다. 쉬운 데이터로 언어의 기초를 잡고 이후 단계에서 전문 지식을 얹으면 된다는 겁니다. 튼튼한 기초 위에 쌓는 편이 처음부터 뒤섞는 것보다 효율적일 수 있다는 주장입니다. TinyStories가 보여준 게 정확히 이 “기초를 잡는 단계"의 효율이었습니다.

진짜 쟁점은 벤치마크가 아닙니다

이런 실험이 반복해서 관심을 끄는 이유는 따로 있습니다. 지금 프론티어 모델은 사실상 인터넷 전체를 다 썼습니다. 더 긁어올 데이터가 빠르게 줄고 있습니다. 스케일링 법칙은 “더 많이"를 요구하는데 정작 재료가 바닥납니다.

그래서 방향이 바뀝니다. 같은 양으로 더 많이 배우게 하는 방법, 즉 데이터 효율이 관심사가 됩니다. 어떤 순서로 보여줄 것인가. 난이도는 어떻게 섞고, 어떤 조합으로 묶을 것인가. 데이터가 무한할 때는 사치스러운 질문이었지만 이제는 실용적인 질문입니다.

비용도 무시할 수 없습니다. 작은 모델을 잘 만드는 기술은 온디바이스 AI와 직결됩니다. 노트북이나 스마트폰에서 도는 모델은 크기 제약이 명확하고, 그 안에서 성능을 뽑으려면 데이터를 어떻게 쓰느냐로 돌아옵니다.

마무리하며

“얼마나 많이"에서 “무엇을 먼저"로 질문이 옮겨가는 중입니다. 다만 아이가 자라듯 모델도 자란다는 비유는 매력적인 만큼 위험하기도 합니다. 인간의 학습과 경사하강법은 작동 원리가 다르고, 비유가 실증을 대신하지는 못합니다.

그래도 남는 질문은 있습니다. 무언가를 배웠던 순간을 떠올려 보세요. 처음 본 자료가 어려웠던 편이 나았나요, 쉬웠던 편이 나았나요. 답이 사람마다 갈린다면 모델도 그럴지 모릅니다.