331표가 몰린 건 최신 AI 툴이 아니라 '연필로 계산하는 워크북'이었습니다

요즘 개발자 커뮤니티에서 제일 얄궂은 장면이 하나 있습니다. AI가 코드를 짜주고 수식을 풀어주고 논문까지 요약해주는 마당에, 331표가 몰린 게시물이 “연필과 종이로 트랜스포머를 직접 계산해보라"는 워크북이었다는 겁니다. 콜로라도 볼더 대학의 Tom Yeh 교수가 만든 ‘AI by Hand’ 이야기인데요. 왜 하필 지금 가장 아날로그한 학습법이 다시 화제일까요.

먼저 솔직히 말씀드리면, 이번 글은 최근 30일 내 커뮤니티 데이터가 거의 안 잡혔습니다. 그래서 이 주제를 둘러싼 논쟁의 구조와 맥락 위주로 풀어보려 합니다.

워크북의 정체: 행렬 곱셈을 손으로 채워넣기

‘AI by Hand’의 방식은 놀랄 만큼 단순합니다. 트랜스포머의 셀프 어텐션, MLP, 백프로파게이션 같은 구조를 작은 정수 행렬로 줄여놓고 빈칸을 뚫어둡니다. 그리고 독자가 직접 연필로 곱하고 더해서 채우게 하죠.

예를 들어 어텐션을 설명할 때, 보통 강의는 Q·K^T를 √d로 나누고 소프트맥스를 씌운다는 수식으로 넘어갑니다. 이 워크북은 4×3짜리 정수 행렬을 던져주고 직접 곱해보라고 합니다. 계산기도 파이썬도 없이요. 열 개 남짓한 숫자를 손으로 굴리다 보면, 어텐션 스코어가 왜 특정 토큰에 몰리는지가 감각적으로 잡히기 시작합니다.

핵심은 계산량을 극단적으로 줄인 것입니다. 실제 모델은 수십억 개 파라미터를 다루지만, 구조를 이해하는 데는 3×3 행렬이면 충분하다는 판단이죠. 이 발상이 워크북의 전부이자 성공 요인입니다.

왜 지금 다시 손으로 계산하나

여기서 자연스럽게 의문이 생깁니다. 어차피 실무에서 행렬 곱셈을 손으로 할 일은 없는데 이게 무슨 의미냐는 거죠. 실제로 이 논쟁의 반대편에는 늘 이런 반박이 있습니다. “어셈블리를 몰라도 웹 서비스는 잘 만든다.”

맞는 말입니다. 다만 상황이 조금 다릅니다. 어셈블리는 추상화가 잘 작동하는 영역입니다. 컴파일러는 대체로 정직하게 동작하고, 이상하게 굴 때는 에러를 뱉습니다. 반면 딥러닝 모델은 틀렸을 때 조용히 그럴듯한 값을 내놓습니다. 학습이 안 되는데 loss는 떨어지는 것처럼 보이고, 어텐션이 무너졌는데 출력은 문장 형태를 유지합니다.

이때 필요한 게 “숫자가 이 정도면 이상한데"라는 감각입니다. 문서를 읽어서 생기는 게 아닙니다. 값을 직접 굴려본 사람한테만 붙는 종류의 직관이죠.

바이브 코딩 시대의 진짜 리스크

‘바이브 코딩’이라는 말이 유행어가 된 지 1년이 훌쩍 넘었습니다. 자연어로 지시하고 AI가 코드를 뱉으면, 돌아가는지만 확인하고 넘어가는 방식입니다. 생산성만 놓고 보면 부정하기 어려운 흐름이고요.

문제는 이 방식이 만들어내는 검증 능력의 공백입니다. AI가 짜준 학습 루프에서 텐서 차원이 하나 어긋나 있어도, 브로드캐스팅이 조용히 처리해버리면 코드는 돌아갑니다. 성능이 미묘하게 나쁠 뿐이죠. 이걸 잡아내려면 결국 “여기서 shape이 왜 이래야 하는지"를 머릿속으로 따라갈 수 있어야 합니다.

Tom Yeh의 워크북이 겨냥하는 지점이 정확히 여기입니다. 코드를 짜는 능력을 대체하자는 게 아니라, AI가 짜준 코드를 의심할 수 있는 능력을 기르자는 겁니다. 자동화가 늘수록 검증자의 값이 올라간다는, 꽤 오래된 명제의 최신 버전인 셈이죠.

반론도 만만치 않습니다

물론 이 접근을 회의적으로 보는 시각도 분명합니다. 크게 세 갈래입니다.

첫째, 시간 대비 효율 문제입니다. 손으로 행렬을 채울 시간에 실제 모델을 파인튜닝해보는 게 낫다는 주장이죠. 둘째, 스케일의 함정입니다. 3×3 행렬에서 얻은 직관이 수십억 파라미터 모델에서도 유효하냐는 겁니다. 실제로 대규모 모델에서만 나타나는 현상은 작은 예제로 설명되지 않습니다. 셋째, 학습 도구로서의 한계입니다. 빈칸 채우기는 결국 절차를 따라가는 훈련이라, 왜 그 구조여야 하는지에 대한 통찰까지 주지는 못한다는 지적입니다.

이 반론들은 타당합니다. 다만 워크북이 말하는 건 “이것만 하면 된다"가 아니라 “이걸 건너뛰면 나중에 비싸다"에 가깝습니다. 둘은 다른 이야기죠.

결국 남는 질문

기술 교육의 역사에는 반복되는 패턴이 있습니다. 도구가 좋아질수록 기초를 건너뛰는 사람이 늘고, 몇 년 뒤 그 세대가 병목에 부딪히면 기초가 다시 유행합니다. 지금 연필과 종이가 화제인 것도 그 주기의 한 지점일 공산이 큽니다.

여러분은 어느 쪽인가요. AI가 대신 해줄 계산을 굳이 손으로 해보는 게 시간 낭비일까요, 아니면 AI 시대라서 더 중요해진 투자일까요. 저는 한 가지는 확실하다고 봅니다. AI가 만든 결과물을 의심할 줄 아는 사람과 그렇지 못한 사람의 격차는 앞으로 더 벌어질 겁니다.