AI가 공부 습관을 분류해도 성적은 못 맞춘다

AI 선생님이 학생의 공부 방식을 자동으로 나누는데, 그게 진짜 실력을 가르는 잣대가 될 수 있을까요? 이 연구는 뜻밖의 답을 내놓았습니다.

온라인 학습 시스템은 학생들이 문제를 풀고 영상을 보는 모든 흔적을 기록합니다. 이런 기록을 분석해서 비슷한 학생끼리 묶는 일을 '학습 분석'이라고 불러요. 그런데 이렇게 묶은 유형이 실제로 학습 성과를 예측하는지에 의문을 품은 연구가 나왔습니다.

5천 명의 공부 기록을 나눠 보니

연구진은 에드넷(EdNet)이라는 대규모 공부 기록 데이터를 사용했습니다. 실제 서비스에서 모은 자료죠. 그중 5천 명의 학생을 골라서, 문제 풀이, 영상 시청, 복습 횟수 같은 여러 학습 습관을 기준으로 유형을 나눴습니다.

그 결과 다섯 가지 대표 유형이 보였습니다. 읽기 중심, 영상 중심, 복습 중심, 문제 중심인 학생들이 뚜렷했어요. 그런데 놀라운 점은 5천 명 중 약 65%가 어느 유형에도 쏙 들어맞지 않았다는 거예요. 평균적인 습관을 가진 큰 무리였죠. 연구진은 이 큰 무리를 다시 잘게 나눠 최종적으로 8가지 공부 전략을 찾아냈습니다.

초반 습관은 '끈기'만 예측한다

이제 핵심 실험이 남았습니다. 학생들의 공부 기록을 시간순으로 반으로 쪼갰어요. 앞부분만으로 유형을 나누고, 뒷부분에서 실제 결과를 확인했습니다. 그 결과, 초반의 공부 유형은 나중에 공부를 계속하는지, 학습 세션을 끝까지 마치는지는 꽤 잘 예측했습니다. 특히 '끈기' 측면에서 효과가 10.6% 정도로 꽤 컸습니다.

그런데 정작 중요한 건 예측하지 못했습니다. 바로 도움 없이 혼자 문제를 맞히는 정확도입니다. 다시 말해, 초반에 어떤 방식으로 공부했는지는 '얼마나 열심히 했는지'는 알려주지만 '얼마나 제대로 이해했는지'는 알려주지 못한다는 거예요.

이 연구가 우리에게 알려주는 것

많은 교육 프로그램이 학생의 활동 기록을 보고 '위험한 학생'을 찾아내려고 합니다. 하지만 이번 연구는 그런 방식이 참여도만 잡아낼 뿐 진짜 실력은 반영하지 못한다고 경고해요. 공부 습관을 분류한 결과를 성적 예측에 그대로 쓰면 안 된다는 뜻입니다.

학교나 교육 기업은 단히 행동 패턴만 보지 말고, 실제 풀이 결과나 시험 성적을 함께 봐야 합니다. AI가 학생을 이해하려면 '무엇을 얼마나 했나'보다 '무엇을 얼마나 아는가'를 더 중요하게 다뤄야 한다는 교훈을 주는 연구입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.