AI 시험, 문제 반복 막는 새 도구

요즘 대규모 시험은 컴퓨터가 문제를 자동으로 만듭니다. 문제가 고갈되면 같은 내용만 반복될 위험이 있는데, 이를 막아주는 새로운 관리 방법이 나왔습니다.

디지털 시험이 보편화되면서 수많은 문제를 저장해 둔 '문제 은행' 관리가 중요해졌습니다. 문제 은행은 시험에 출제할 문제들을 모아둔 큰 창고입니다. 그런데 문제가 너무 많아지면 어떤 문제가 얼마나 사용되었는지, 더 이상 새로운 시험을 만들 수 있는지 파악하기 어렵습니다. 연구진은 이 문제를 해결하기 위해 'AQuAP(아쿠아프)'라는 대시보드 시스템을 만들었습니다.

문제 은행의 건강 상태를 진단하다

AQuAP는 문제 은행의 상태를 한눈에 보여주는 도구입니다. 핵심 지표는 'EBS'라고 부르는 '효과적 은행 크기'입니다. EBS는 현재 있는 문제들로 몇 번의 완전히 다른 시험을 만들 수 있는지를 숫자로 나타냅니다. 예를 들어 EBS가 10이면 서로 겹치는 문제 없이 시험을 10번 만들 수 있다는 뜻입니다. 이와 함께 각 문제가 얼마나 자주 출제되는지(노출도) 같은 정보도 함께 제공합니다.

이 지표들을 통해 문제 은행의 보안과 다양성을 평가할 수 있습니다. 특정 문제가 너무 자주 나오면 유출 위험이 커지고, 같은 유형의 문제만 반복되면 시험의 공정성이 떨어집니다. AQuAP는 이런 문제를 실시간으로 감지하고 관리자에게 경고를 보냅니다. 연구진은 이 시스템이 실제 시험 운영에서 문제 은행의 '활력'을 유지하는 데 도움이 된다고 밝혔습니다.

교육 현장에 주는 의미

이 연구가 의미하는 바는 시험을 개발하는 기관이나 학교에서 더 효율적이고 공정한 시험을 운영할 수 있게 된다는 점입니다. 문제 은행의 건강 상태를 정기적으로 점검하면 문제 유출을 막고, 학생들에게 다양한 문제를 제공할 수 있습니다. 특히 AI가 자동으로 문제를 생성하는 시스템에서는 이 도구가 필수적입니다. 앞으로 온라인 시험의 품질을 유지하는 데 큰 도움이 될 것으로 보입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.