AI가 학생의 코딩 실수를 재현할 수 있을까?

프로그래머를 꿈꾸는 학생들이 자주 하는 실수를 인공지능(AI)이 대신 만들어낼 수 있다면? 연구진이 실제로 이 아이디어를 시험해봤습니다.

왜 학생 실수를 연구하는가?

프로그래밍을 가르치는 교사는 학생들이 어떤 오류를 저지르는지 알아야 효과적으로 도와줄 수 있습니다. 하지만 새로운 과제를 출제할 때마다 수백 명의 학생이 실제로 제출한 코드를 모으려면 시간이 오래 걸리고 비용도 많이 듭니다. 이 연구는 커다란 AI 언어 모델을 이용해 학생이 범할 법한 논리적 오류를 인위적으로 만들어낼 수 있는지 확인했습니다.

연구진이 한 일

연구진은 미국의 '코드워크아웃'이라는 데이터셋을 사용했습니다. 이 데이터셋에는 37개 문제에 대해 학생 74,000명이 실제로 제출한 자바 코드가 들어 있습니다. 연구진은 다섯 가지 AI 모델을 준비하고, 각 모델에게 세 가지 서로 다른 방식으로 질문을 던졌습니다. 첫 번째는 단순히 입력과 출력만 보고 오류를 생성하게 하는 방법, 두 번째는 추론 과정을 단계별로 생각하게 하는 방법, 세 번째는 스스로 답을 검토하고 고치게 하는 방법입니다. AI가 만들어낸 오류 패턴이 실제 학생의 실수와 얼마나 비슷한지, 또 얼마나 다양한 오류를 만들어내는지 측정했습니다.

무엇을 발견했나?

모든 AI 모델이 다양한 오류를 만들어냈지만, 실제 학생의 실수와 완전히 일치하지는 않았습니다. 특히 어려운 문제일수록 AI가 만들어내는 오류와 학생의 오류 사이에 차이가 더 컸습니다. 한 가지 흥미로운 점은 추론 과정을 단계별로 생각하게 하는 방법이 가장 풍부한 오류 패턴을 보여줬다는 것입니다. 반면 스스로 답을 고치게 하는 방법은 오히려 학생의 실수와 덜 비슷해졌습니다.

이 연구가 의미하는 바

아직 완벽하지는 않지만, AI를 이용해 학생의 실수를 미리 예측하고 그에 맞춰 교육 자료를 준비할 수 있다는 가능성을 보여줍니다. 예를 들어 교사가 새로운 문제를 낼 때마다 AI가 예상 오류 리스트를 작성해주면, 학생들이 자주 틀리는 부분을 미리 대비할 수 있습니다. 물론 더 많은 데이터와 연구가 필요하지만, 프로그래밍 교육을 훨씬 효율적으로 바꿀 수 있는 첫걸음입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.