AI가 공부에 도움될까? 실험으로 확인한 결과

생성형 AI(글로 써주는 인공지능)를 공부할 때 쓰면 시험 성적이 오를까? 직접 실험해보니 확실한 효과가 있었다.

왜 이 연구가 필요했을까?

요즘 학교에서 챗GPT 같은 AI를 수업에 써도 되는지 말이 많다. 어떤 사람은 "AI가 대신 글을 써주면 학생이 생각하지 않게 된다"고 걱정하고, 또 어떤 사람은 "AI가 모르는 걸 알려줘서 더 잘 배울 수 있다"고 말한다. 논란만 무성할 뿐, 실제로 학생들이 AI를 쓸 때 배움에 어떤 영향이 있는지 정확히 아는 사람은 거의 없다. 이 연구는 그 궁금증을 풀기 위해 시작됐다.

연구진은 미국의 한 대학에서 학부생 100명을 모아 무작위로 두 그룹으로 나눴다. 한 그룹은 글을 쓸 때 일반적인 생성형 AI(예: 챗GPT 같은 프로그램)를 자유롭게 사용할 수 있었고, 다른 그룹은 AI 없이 자기 실력만으로 과제를 해야 했다. 모든 학생은 사전에 거의 모르는 주제에 대해 배운 뒤, 분석적인 에세이를 쓰고 곧바로 시험을 봤다. 그리고 일주일 후에 다시 같은 내용의 시험을 봤다. 시험은 사실과 개념을 묻는 객관식 문제와, 더 깊이 생각해야 하는 주관식 에세이로 구성됐다.

AI를 쓰면 시험 점수가 올랐다

가장 확실한 결과는 시험 점수였다. AI를 쓴 학생들은 쓰지 않은 학생들보다 바로 본 시험에서 0.27 표준편차(통계로 보면 꽤 큰 차이)만큼 높은 점수를 받았다. 더 놀라운 점은 일주일 후에 다시 본 시험에서도 그 차이가 그대로 유지됐다는 것이다. 즉, AI가 단기 성적만 도와준 게 아니라 진짜 학습 효과를 냈다는 뜻이다.

에세이의 질은 조금 달랐다. AI를 쓰는 동안에는 에세이의 전반적인 완성도가 크게 좋아지지 않았다. 그런데 일주일 후에 AI 없이 스스로 에세이를 쓰게 했더니, 이전에 AI를 사용했던 학생들의 에세이 스타일과 주제 관련성이 더 좋아졌다. 특히 AI를 '도우미'처럼 써서 개념을 설명받거나 아이디어를 얻는 학생들은 나중에 혼자 쓸 때 에세이 질이 크게 올랐다. 반면 AI에게 '대신 글을 써 달라'고 시킨 학생들은 AI가 없어지자 에세이 질이 곧바로 떨어졌다.

어떻게 이런 일이 일어났을까?

연구진은 학생들이 AI를 어떻게 사용했는지 자세히 분석했다. 핵심은 '시간'을 어떻게 쓰느냐였다. AI를 도우미로 쓴 학생들은 글을 직접 쓰는 대신 AI에게 "이 개념을 쉽게 설명해줘" 또는 "내 주장을 뒷받침할 자료를 알려줘"라고 물어보며 내용을 이해하고 구조를 잡는 데 시간을 썼다. 반면 AI에게 글을 맡긴 학생들은 초안을 빨리 만드는 데 집중했고, 그 결과는 일시적이었다. 다시 말해, AI를 '생각을 키우는 도구'로 쓰면 진짜 실력이 쌓이고, '작업을 대신하는 도구'로 쓰면 잠시 빛날 뿐 오래가지 않는다는 것이다.

이 연구는 학교에서 AI를 어떻게 써야 하는지 중요한 힌트를 준다. AI 자체가 나쁜 게 아니라, 쓰는 방식에 따라 학습 효과가 완전히 달라진다는 점을 명확히 보여줬다. 앞으로 수업에서 AI를 가르칠 때는 "AI에게 답을 뽑아내지 말고, AI와 대화하며 개념을 이해하라"는 지도가 필요해 보인다. 학생 입장에서도 AI를 만능 해결사로 생각하기보다, 진짜 공부를 도와주는 조력자로 활용한다면 더 똑똑해질 수 있다.

📖 원문 보��: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.