AI로 숙제 점수 18% 올랐는데, 시험 점수는 20% 떨어졌다

숙제 점수가 18% 오른 반이 있습니다. 같은 반이 시험에서는 20% 떨어졌습니다. 차이는 딱 하나, AI 튜터를 썼느냐였습니다. 이 조합이 왜 불편하냐면, 우리가 학습을 재는 방식 자체가 AI 앞에서 무너지고 있다는 뜻이거든요.

미리 하나 밝혀둡니다. 이 수치를 다룬 최근 30일 커뮤니티 논의는 거의 찾기 어려웠습니다. 그래서 오늘은 실시간 반응을 옮기기보다, 이 패턴이 왜 자꾸 반복되는지를 인지과학에서 이미 알려진 것들과 엮어 보려고 합니다.

숙제와 시험은 원래 같은 걸 재지 않았습니다

숙제는 정답에 도달했는가를 봅니다. 시험은 혼자서 도달할 수 있는가를 봅니다. 평소에는 이 둘이 대충 겹칩니다. 혼자 낑낑대며 답을 찾은 학생이 시험에서도 잘하니까요.

AI는 이 겹침을 깨버립니다. 도달은 시켜주되, 도달하는 능력은 남기지 않습니다. 그러니까 숙제 점수가 올랐다는 건 학생이 더 배웠다는 신호가 아니라 숙제라는 자가 고장 났다는 신호에 가깝습니다. 체온계를 난로에 올려두고 열이 났다고 말하는 격이죠.

미국 펜실베이니아 대학 연구진도 비슷한 걸 봤습니다. 튀르키예 고등학생 약 1000명을 대상으로 한 실험입니다. GPT-4 도움을 받아 연습 문제를 푼 그룹은 연습 단계 성적이 확 올랐지만, AI를 치운 시험에서는 도움을 전혀 안 받은 그룹보다 17% 낮은 점수를 받았습니다. 숫자는 조금씩 다르지만 방향은 똑같습니다.

‘유창성 착각’이 범인입니다

인지심리학에는 오래된 개념이 하나 있습니다. 처리 유창성 착각입니다. 뭔가가 술술 이해되면 뇌는 그걸 “내가 아는 것"으로 착각합니다. 실제로는 그냥 읽기 쉬웠던 것인데도요.

AI 설명은 이 착각을 만드는 데 최적화돼 있습니다. 문장이 깔끔하고 단계가 잘 나뉘어 있습니다. 막히는 데가 없어요. 학생 입장에서는 “아 이거구나” 하는 순간이 계속 옵니다. 문제는 그 순간이 기억에 아무것도 새기지 않는다는 겁니다.

반대로 진짜 학습은 불편합니다. 인출 연습, 간격 반복, 헷갈리는 개념 섞어서 풀기. 학습과학에서 바람직한 어려움이라고 부르는 건데, 공통점은 하나같이 하는 동안 기분이 나쁘다는 겁니다. 잘 안 풀리고, 자꾸 틀리고, 느립니다. 그런데 그게 남습니다.

AI는 딱 그 어려움을 없애주는 도구입니다. 선의로요.

학생이 AI를 쓰는 방식 자체가 문제

그런데 여기서 갈립니다. 같은 AI라도 어떻게 쓰느냐에 따라 결과가 딴판입니다.

아까 그 튀르키예 실험에는 그룹이 하나 더 있었습니다. 답을 바로 주지 않고 힌트만 주도록, 교육학적 가이드라인을 심어놓은 튜터 버전을 쓴 그룹입니다. 이 그룹은 시험에서 손해를 보지 않았습니다. 하버드에서 물리학 수업에 잘 설계된 AI 튜터를 붙인 실험에서는 학습 효과가 대조군의 두 배 이상 나오기도 했고요.

그러니까 문제는 AI가 아니라 마찰 없는 AI입니다. 그런데 시장에 풀려 있는 챗봇은 대부분 마찰을 줄이는 쪽으로 만들어졌습니다. 사용자 만족도를 높이려면 그게 맞으니까요. 교육적으로 좋은 것과 쓰기 좋은 것이 여기서 정면으로 부딪칩니다.

학생 얘기로만 끝나지 않습니다

솔직해집시다. 코드 자동완성으로 짠 코드를 나중에 혼자 고칠 수 있나요. AI가 요약해준 문서 내용을 회의에서 질문받았을 때 답할 수 있나요.

돌아가는 원리가 똑같습니다. 결과물의 질은 올라가고, 그걸 만든 사람의 실력은 그대로거나 떨어집니다. 회사가 재는 건 대부분 결과물이고요. 숙제 점수를 보고 있는 셈이죠.

다른 게 있다면 학생에겐 시험이 있다는 겁니다. 착각이 깨지는 순간이 정해져 있어요. 직장인에게는 그 시험이 언제 올지 모릅니다. 장애 대응 중일 수도 있고, AI가 안 통하는 낯선 문제 앞일 수도 있습니다.

그래서 뭘 바꿔야 하나

재는 방법을 바꿔야 합니다. 학교라면 숙제 비중을 낮추고 교실 안에서 보는 평가를 늘리는 쪽이겠죠. 실제로 여러 대학이 이미 그렇게 움직이고 있고요.

개인이라면 방법은 더 단순합니다. AI가 설명해준 다음에 덮고 다시 해보는 것. 이거 하나입니다. 설명을 듣고 고개를 끄덕인 지점과, 아무것도 안 보고 재현할 수 있는 지점 사이의 거리가 바로 착각의 크기입니다. 그 거리를 재보지 않으면 영원히 모릅니다.

숙제 점수가 18% 오른 것도 진짜고, 시험 점수가 20% 떨어진 것도 진짜입니다. 둘 다 진짜라는 게 고약한 부분이죠. 지난주에 AI 도움으로 처리한 일 중에, 지금 도구를 끄고 다시 하라면 할 수 있는 게 몇 개나 될까요.