AI 학습 자료, 상호작용 품질을 자동 평가한다

요즘 AI가 학습 자료를 척척 만들어내지만, 그 자료가 정말 학생의 이해를 돕는지 평가하는 건 여전히 어렵습니다. 이 연구는 AI가 만든 '탐구형 설명'이라는 학습 도구의 상호작용 품질을 자동으로 평가하는 새로운 방법을 제시했습니다.

AI가 글과 그림뿐 아니라, 학생이 직접 조작하며 배울 수 있는 '탐구형 설명' 자료도 만들어내고 있습니다. 예를 들어, 과학 실험을 시뮬레이션하거나 역사 사건을 타임라인으로 움직여 보는 식이죠. 그런데 이런 자료의 품질을 평가하는 기존 방식은 코드가 오류 없이 실행되는지, 화면이 예쁜지만 확인했습니다. 학생이 버튼을 누르거나 값을 바꿨을 때 제대로 반응하는지, 그 반응이 학습에 도움이 되는지는 평가하지 못했어요.

상호작용 품질을 '기계어'로 바꾸다

연구진은 EE-Eval 이라는 자동 평가 도구를 만들었습니다. 이 도구의 핵심은 '유한 상태 기계'라는 개념입니다. 쉽게 말해, 학생이 학습 자료에서 가질 수 있는 모든 상태를 하나하나 꼬리표처럼 정리하고, 상태 사이의 이동 규칙을 그림으로 그리는 거예요. 예를 들어, "온도 슬라이더를 움직이면 얼음이 녹는 상태로 바뀐다" 같은 규칙을 컴퓨터가 이해할 수 있는 그래프로 만듭니다. 그런 다음, AI가 만든 자료의 그래프를 이상적인 그래프와 비교합니다. 이상적인 그래프는 교육학 전문가가 '바람직한 학습 경로'라고 생각하는 대로 만든 것입니다. 두 그래프가 얼마나 비슷한지 숫자로 점수를 매겨서 상호작용 품질을 평가하는 거죠.

이 연구가 의미하는 바는?

연구진이 실제 AI 생성 자료에 EE-Eval을 적용해 본 결과, 기존 방식보다 학생의 실제 학습 경로를 훨씬 잘 예측했습니다. 이는 앞으로 AI 교육 자료의 품질을 대규모로 자동 검사하는 길을 열었습니다. 예를 들어, 온라인 강의 플랫폼에서 수천 개의 학습 자료를 일일이 교육 전문가가 검토할 필요 없이, EE-Eval이 자동으로 어떤 자료가 학생에게 도움이 되는지 가려낼 수 있습니다. 물론, 모든 교육 내용을 완벽히 평가할 수는 없지만, 상호작용 품질이라는 중요한 축을 자동화했다는 점에서 의미가 큽니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.