AI 코딩 피드백, 학습 성공률 높였다

코딩을 처음 배우는 학생들에게 AI가 실시간으로 피드백을 주면 얼마나 도움이 될까? 미국의 연구팀이 실제 수업에서 실험해봤다.

왜 이 연구가 중요할까?

컴퓨터 프로그래밍을 처음 배울 때 학생들은 자주 실수를 합니다. 실수를 바로잡는 과정이 있어야 실력이 느는데, 교사가 모든 학생에게 일일이 설명해주기엔 시간이 너무 부족합니다. 그래서 요즘은 AI, 특히 '거대 언어 모델(LLM)'이라는 기술을 이용해 자동으로 피드백을 주는 방법이 주목받고 있습니다. LLM은 방대한 글을 학습해서 사람처럼 자연스러운 문장을 만들어내는 AI입니다. 이 연구는 그런 AI 피드백이 실제 강의실에서 효과가 있는지 검증한 첫 번째 대규모 실험입니다.

어떻게 실험했을까?

매사추세츠 대학교 연구팀은 파이썬(Python) 프로그래밍 입문 수업에서 215명의 학생을 대상으로 실험했습니다. 학생들은 과제를 제출할 때마다 세 가지 중 한 가지 피드백을 무작위로 받았습니다. 첫째는 '자연어 힌트'로, AI가 '왜 틀렸고 어떻게 고치면 좋을지'를 일상적인 말로 설명해줬습니다. 둘째는 'AI가 만든 실패 테스트 케이스'로, 학생의 코드가 통과하지 못한 검사 항목만 보여줬습니다. 셋째는 아무 피드백도 주지 않았습니다. 17주 동안 총 6,693번의 제출 기록을 분석했습니다.

가장 중요한 발견은?

연구진이 가장 궁금해한 것은 학생들이 과제를 끝까지 완료하는 비율이었습니다. 결과는 명확했습니다. 자연어 힌트를 받은 학생들이 그렇지 않은 학생들보다 과제 완료율이 훨씬 높았습니다. 반면 AI가 만든 테스트 케이스만 받은 학생들은 피드백이 전혀 없는 경우와 큰 차이가 없었습니다. 즉, '틀렸다'는 정보만 주는 것보다 '왜 틀렸고 어떻게 고쳐야 하는지'를 설명해주는 것이 효과적이라는 뜻입니다. 이는 학생들이 단순히 답을 맞추는 것이 아니라 개념을 이해하도록 도와주기 때문으로 보입니다.

데이터도 공개했다

연구팀은 이번 실험에서 모은 모든 데이터를 'ProgFeed'라는 이름으로 공개했습니다. 피드백 종류, 실행 성능, 제출 시간 같은 세부 정보가 담겨 있습니다. 다른 연구자들이 이 데이터를 활용해 더 나은 교육용 AI를 개발할 수 있도록 한 것입니다. 이는 인공지능 교육 연구를 한 단계 더 발전시킬 수 있는 좋은 밑거름이 됩니다.

이 연구가 우리에게 주는 교훈

이 연구는 AI 피드백이 실제 교실에서 효과가 있음을 보여준 중요한 사례입니다. 특히 자연어로 설명하는 피드백이 가장 효과적이라는 점은 앞으로 교육용 AI를 만들 때 꼭 기억해야 할 점입니다. 다만 이 연구는 한 학기, 한 과목에만 진행되었고, 학생들이 오랫동안 기억하는지까지는 확인하지 못했습니다. 앞으로 더 다양한 과목과 오랜 시간에 걸친 연구가 필요합니다. 그래도 분명한 것은, AI가 학생 한 명 한 명에게 맞춤형 조언을 해줄 수 있는 가능성을 확인했다는 점입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.