AI 첨삭, 학생 vs 전문가 생각 차이

영어로 글을 쓰는데 AI가 첨삭을 해줬어요. 그런데 선생님들이 보기에 좋은 첨삭과 학생들이 실제로 도움받은 첨삭이 달랐다는 연구가 나왔습니다. AI가 쓴 피드백, 과연 신뢰할 수 있을까요?

왜 이 연구가 필요했을까

요즘에는 인공지능(AI)을 이용해 영어 작문을 쉽게 첨삭할 수 있습니다. 하지만 AI가 내놓는 피드백이 정확하더라도, 학생이 배우는 데 실제로 도움이 되느냐는 다른 문제입니다. 예를 들어, 문법 오류를 정확히 지적해도 그 방식이 학생을 혼란스럽게 한다면 오히려 독이 될 수 있죠. 그래서 연구자들은 '첨삭의 질'을 두 가지 시각에서 평가해보기로 했습니다. 하나는 전문 영어 교사들의 판단, 다른 하나는 학생들의 실제 반응입니다.

2만 개가 넘는 글에서 찾은 사실

연구진은 대학교 영어 수업에서 약 2천 명의 학생을 대상으로 실험을 진행했습니다. 학생들이 쓴 2만 개가 넘는 초고(초안)를 수집했고, AI가 각 글에 맞춤 첨삭을 제공했습니다. 그런 다음 전문 교사 8명이 엄격한 평가 기준(루브릭)으로 AI 첨삭의 정확성과 적절성을 평가했습니다. 동시에 학생들에게는 '이 피드백이 얼마나 도움이 됐는지' 설문조사를 하고, 학생들이 피드백을 얼마나 실제로 고쳐 썼는지(참여도)도 측정했습니다.

전문가 평가와 학생 평가, 생각보다 달랐다

결과는 흥미로웠습니다. 교사들이 '훌륭하다'고 평가한 첨삭이 학생들에게는 '별로 도움이 안 됐다'는 반응을 얻는 경우가 많았습니다. 반대로 교사들이 점수를 낮게 준 첨삭이라도 학생들은 유용하게 느끼기도 했습니다. 즉, 전문가의 눈높이와 학습자의 눈높이가 일치하지 않았던 겁니다. 이는 AI가 아무리 정확한 첨삭을 하더라도, 학생이 실제로 받아들이고 활용할 수 있는지까지 고려해야 진짜 도움이 될 수 있음을 보여줍니다.

이 연구가 우리에게 주는 의미

지금까지 많은 연구가 '전문가가 보기에 좋은 첨삭'만 중요하게 여겼습니다. 하지만 이 연구는 학습자 중심으로 생각을 바꿔야 한다는 점을 알려줍니다. 예를 들어, AI 첨삭 시스템을 만들 때는 학생들의 피드백을 적극 반영해야 합니다. '이 설명이 이해가 가나요?' '더 쉬운 예시가 필요하나요?' 같은 질문을 던지면서 말이죠. 학교 현장에서도 AI가 내준 첨삭을 그대로 믿기보다, 선생님이 한 번 걸러서 학생 수준에 맞게 다시 알려주는 과정이 필요할 수 있습니다.

또한 이 연구는 'AI가 사람을 완전히 대체할 수 없다'는 점을 다시 한 번 상기시켜 줍니다. 특히 교육처럼 사람의 감정과 이해 정도가 중요한 분야에서는 전문가의 판단과 학습자의 의견을 함께 봐야 합니다. 앞으로 AI 첨삭 도구가 더 똑똑해지려면, 학생들의 실제 반응을 데이터로 수집하고 개선해 나가는 방식이 필수적입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.