오르는 숙제 점수, 떨어지는 시험 점수
· BNV Solutions
숙제 완료율이 오르고 제출이 빨라지면 학습이 잘 되고 있다고 믿기 쉽습니다. 그런데 최근 해외에서 공개된 연구들은 이 직관에 의문을 던집니다. AI의 도움을 받아 푸는 동안에는 점수가 오르는데, 도움을 떼고 치르는 시험에서는 오히려 성적이 떨어지는 패턴이 반복해서 관찰됐다는 것입니다.
유럽 경제정책연구센터(CEPR)의 디스커션페이퍼는 중국 중등학생 2만 6천여 명을 30개월간 추적했습니다. 이 조사에 따르면 AI 도구를 쓴 학생은 숙제 점수가 18% 오르고 완료 시간이 30% 줄었지만, 서술형이 없는 폐쇄형 시험 점수는 6개월 안에 20% 떨어졌고 약 2년 뒤 입학시험에서는 18~24%까지 하락했습니다. 학생 열 명 중 여덟 명꼴로 'AI가 없으면 저성과'로 돌아서는 양상을 보였다는 보고입니다.
같은 방향의 실험도 있습니다. 고교 수학 학생 약 1천 명을 대상으로 한 무작위대조실험에서, 연습 중 AI를 무제한 허용한 그룹은 보조를 받는 동안 성과가 48% 올랐지만 AI 없이 치른 실제 시험에서는 대조군보다 17% 낮은 성적을 받은 것으로 알려졌습니다. 다른 다중 실험에서도 즉각 성과는 오르되 이후 혼자 하는 과제의 성과가 낮아지는 결과가 재확인됐다는 보고가 있습니다.
두 결과가 가리키는 지점은 같습니다. 완료율과 정답률은 '도구를 쓴 실력'이지 아직 '내 실력'이 아니라는 것입니다. 답을 받아 적는 동안 문제를 붙들고 씨름하는 인지적 노력이 사라지면 연습량이 늘어도 실력은 쌓이지 않습니다. 건물을 올릴 때 세운 비계를 걷어내는 시점을 설계하지 않으면 건물이 스스로 서지 못하는 것과 같습니다.
그래서 문제는 AI를 쓰느냐 마느냐가 아니라 어떻게 쓰게 하느냐입니다. 정답을 바로 내주는 도구와 질문을 되돌려주며 사고를 유도하는 도구는 같은 AI라도 학습에 남기는 것이 다릅니다. 힌트를 단계적으로 줄여가는 설계, 그리고 도구 없이 치르는 평가를 주기적으로 끼워 넣어 혼자서도 되는지 확인하는 장치가 도움과 의존을 가르는 경계가 됩니다.
교실과 학원 현장에서 가장 자주 듣는 걱정도 결국 이것입니다. 이 도구를 쓰면 아이가 스스로 풀지 않게 되는 것 아니냐는 물음입니다. 정당한 걱정입니다. 그래서 정답 대신 다음 단계의 질문을 건네는 설계, 그리고 도구를 뗀 상태의 실력을 따로 확인하는 평가가 중요해집니다. 오르는 점수보다 남는 실력이 교육의 지표라는 사실을, 이번 연구들이 다시 일깨워 줍니다.