AI가 언어 약한 학생 물리 점수 낮게 매겨

물리 수업에서 학생이 쓴 설명을 보고 이해도를 평가하는 데 AI를 쓸 수 있을까? 새로 연구는 AI가 언어 표현이 서툰 학생의 이해를 낮게 평가하는 경향이 있음을 발견했습니다. 이는 AI 채점이 교육 현장에 들어갈 때 반드시 고려해야 할 문제입니다.

물리 공부에서 중요한 것은 개념을 제대로 이해하는 것입니다. 선생님은 학생들이 설명하는 말이나 글을 통해 이해했는지 판단합니다. 그런데 머릿속에 있는 생각과 그것을 표현하는 말은 다를 수 있습니다. 어떤 학생은 개념을 정확히 이해했는데도 글을 잘 쓰지 못할 수 있습니다. 반대로 말을 잘한다고 해서 반드시 개념을 이해한 것은 아닙니다. 그래서 '이해'를 평가하는 일은 생각보다 어렵습니다.

물리에서 설명은 단순히 답을 말하는 것이 아닙니다. 학생이 현상을 어떻게 이해했는지, 원리들을 어떻게 연결했는지를 보여주는 중요한 증거입니다. 그래서 많은 교사가 학생의 설명을 듣고 평가합니다. 하지만 설명은 언어 능력의 영향을 받기 때문에, 같은 이해를 가진 학생이라도 표현이 서툴면 점수가 낮아질 수 있습니다.

최근에는 AI를 이용해 학생들의 설명을 자동으로 채점하는 기술이 발전하고 있습니다. AI는 빠르고 일관된 평가가 가하다는 장점이 있습니다. 하지만 과연 AI가 학생의 언어 실력과 개념 이해를 제대로 구분할까요? 이 연구는 바로 이 질문을 다룹니다.

연구진은 중고등학생 116명이 쓴 물리 설명문을 준비했습니다. 이 설명문에 대해 9가지 머신러닝(컴퓨터가 데이터에서 스스로 규칙을 배우는 기술) 채점 방식과 2가지 대규모 언어 모델(ChatGPT처럼 막대한 글을 학습한 AI) 채점 방식을 적용했습니다. 그리고 그 결과를 물리 전문가들이 매긴 점수와 비교했습니다.

AI는 전문가와 얼마나 비슷할까?

전체적으로 보면 AI 점수는 전문가 점수와 상당히 일치했습니다. 평균적으로는 꽤 정확한 채점을 한 셈입니다. 그런데 자세히 들여다보면 문제가 드러났습니다.

연구진은 학생 설명문의 언어 품질(문장의 정확성, 어휘 사용, 문법 등)을 따로 평가했습니다. 언어 품질이 낮은 설명문, 즉 문장이 어색하거나 단어 선택이 서툰 설명문은 AI가 점수를 낮게 매길 확률이 훨씬 높았습니다. 하지만 전문가들은 그 설명문에 담긴 물리 개념이 올바르면 높은 점수를 주었습니다.

즉, AI는 학생이 쓴 글의 '표현'이 매끄럽지 않으면, 실제로는 개념을 제대로 이해했더라도 마치 이해하지 못한 것처럼 평가했습니다. 예를 들어 “힘이 작용하는 방향으로 물체가 움직인다”는 올바른 답을 학생이 “힘 가는 쪽으로 움직임”이라고 어색하게 썼을 때, 전문가는 개념을 이해한 것으로 보지만 AI는 오답으로 처리하기 쉽습니다.

왜 이런 일이 생길까?

AI 모델은 학습할 때 문법적으로 올바르고 매끄러운 글을 많이 보았습니다. 그래서 표현이 어색하면 그 내용이 맞아도 '틀린 것'으로 판단하는 경향이 있습니다. 물리 개념보다 언어 형식에 더 민감하게 반응하는 것입니다. 이것은 AI가 표면적인 단서에 지나치게 의존한다는 증거입니다.

이 연구가 시사하는 바는 분명합니다. AI를 학생 평가에 사용할 때는 언어 능력이 부족한 학생이 불리해질 수 있습니다. 특히 이제 막 학교에 들어온 외국인 학생이나 읽기 쓰기에 어려움이 있는 학생들은 AI 채점에서 점수를 잃을 가능성이 큽니다.

물론 이 결과는 하나의 실험서 나온 것입니다. 물리 과목, 독일 중고등학생, 특정 AI 모델을 대상으로 했기 때문에 다른 상황에도 그대로 적용된다고 단정할 수는 없습니다. 하지만 AI가 사람의 글을 평가할 때 항상 이런 편향이 있을 수 있다는 점을 다시 한번 보여줍니다. 앞으로 AI 채점을 실제 수업에 사용하려면, 개념 이해를 더 정확히 반영하고 언어 형식의 영향을 줄이는 노력이 필요합니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.