AI가 만든 수업 자료, 진짜 효과 있을까?

AI가 만든 영어 수업 자료가 예쁘게 보이는 것과 실제로 배우는 데 도움이 되는 것은 별개의 문제입니다. 어떤 학자가 이를 제대로 검증하는 기준을 만들었습니다.

수업 자료도 '맛있어 보임'과 '영양가'는 달라

요즘 인공지능(AI)은 그림도 그리고 글도 씁니다. 심지어 외국어 수업용 슬라이드도 만들어 냅니다. 그런데 문제가 있습니다. 슬라이드가 그럴듯해 보인다고 해서, 실제로 학생들이 그 내용을 잘 배우는 건 아니라는 점입니다. 마치 음식이 사진으로는 맛있어 보여도 영양소가 부족할 수 있는 것과 비슷합니다. 연구진은 이런 문제를 해결하려고 했습니다.

이 연구는 AI가 만든 언어 교육 슬라이드를 제대로 평가하는 도구를 만들었습니다. 이름은 SLATE(Slide-based Learning Assessment for Teaching Effectiveness)입니다. 쉽게 말하면 'AI가 만든 수업 자료가 실제 학습 효과가 있는지 측정하는 시험지'입니다. 이 도구는 아주 특별한 문제를 사용합니다. 바로 세계언어올림피아드에 나오는 퍼즐입니다. 인터넷에 자료가 거의 없는 희귀한 언어 문제를 활용해서, AI가 이미 답을 알고 있을 가능성을 없앴습니다.

사전에도 없는 언어 문제로 진짜 학습을 확인했다

연구진은 이 퍼즐을 90개의 표준 수업 단위로 만들었고, 총 1,133개의 평가 문항을 구성했습니다. 수업 전에 시험을 보고, 수업 후에 또 시험을 봅니다. 만약 수업 후 점수가 올랐다면, 그것은 학생이 실제로 무언가를 배웠다는 뜻입니다. AI가 단순히 기억 속 정답을 말한 것이 아니라는 걸 확인하는 장치입니다. 이렇게 해서 '교과 내용이 얼마나 정확한가' 즉 내용 타당성과 '학생들이 얼마나 배웠는가'가 따로 놀 수 있다는 사실을 보여주었습니다.

연구에서는 또한 사람 대신 컴퓨터 비전 모델을 학습자처럼 사용했습니다. 그리고 소규모로 실제 인간 실험도 함께 진행했습니다. 그 결과 눈에 보이는 콘텐츠의 질이 훌륭해도 실제 학습 효과와는 약한 관계만 있다는 사실이 드러났습니다. 즉, 자료가 아무리 정교해 보여도, 학생이 그 내용을 잘 이해하고 기억하는 것은 별개의 일이라는 뜻입니다.

이 연구가 우리에게 주는 의미

앞으로 AI가 든 교재를 학교나 학원에서 더 많이 쓰게 될 것입니다. 그때 중요한 것은 화려한 디자인이나 완성도 높은 문장이 아니라, 학생들이 실제로 성장했는가입니다. 이 연구는 AI 교육 자료를 평가할 때 '학습량'이라는 기준이 꼭 필요하다는 것을 알려줍니다. 우리가 AI 도구를 선택할 때도 이 점을 기억하면 도움이 됩니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.