AI로 팀워크 평가? 새 연구가 제시한 방법

팀이 함께 문제를 푸는 훈련, 특히 사이버 보안 위기 대응 훈련에서 선생님들이 학생들을 평가하는 일은 매우 까다롭습니다. 이 연구는 컴퓨터가 팀의 행동을 분석해 더 빠르고 효과적으로 평가할 수 있는 방법을 찾았습니다.

컴퓨터 교육에서 '팀 문제 해결'은 매우 중요합니다. 학생들이 실제 직장에서 마주할 위기 상황을 연습하는 '테이블탑 훈련'(책상 위에서 시뮬레이션하는 훈련)이 대표적입니다. 예를 들어 사이버 보안 침해 사고가 났을 때 팀이 어떻게 대응할지 연습합니다. 그런데 이런 훈련은 정해진 답이 없고 복잡하기 때문에, 선생님이 모든 팀의 수행을 일일이 평가하려면 시간이 오래 걸리고 피드백도 늦어집니다. 연구진은 이 문제를 해결하기 위해 훈련 도중 기록된 데이터(팀의 행동과 대화)를 활용하는 두 가지 자동 평가 방법을 비교했습니다.

두 가지 평가 방법: 그룹 나누기와 인공지능

첫 번째 방법은 '군집화'(비슷한 팀끼리 묶기)입니다. 각 팀이 문제를 푸는 방식이 비슷하면 같은 그룹으로 묶어서, 그 그룹에 한꺼번에 피드백을 줄 수 있습니다. 예를 들어 '정보 수집을 빨리 한 팀'과 '느리게 한 팀'을 나누는 식입니다. 두 번째 방법은 '대규모 언어 모델'(LLM, 글을 읽고 이해하는 인공지능 시스템)을 이용하는 것입니다. 인공지능이 팀의 대화 내용을 읽고 얼마나 잘 수행했는지 점수를 매깁니다. 연구진은 두 방법을 실제 대학생 81명(두 국가 참여)의 훈련 데이터에 적용하고, 선생님이 직접 매긴 점수와 비교했습니다.

AI 평가, 선생님과 얼마나 비슷할까?

결과는 흥미로웠습니다. 군집화 방법은 선생님이 나누는 평가 기준과 완전히 일치하지는 않았지만, 팀을 비슷한 유형으로 나누는 데 유용했습니다. 이렇게 하면 선생님이 각 팀에 개별 피드백을 주는 대신, 같은 그룹의 팀에게 공통된 조언을 빠르게 줄 수 있습니다. 대규모 언어 모델 방식은 더 정교했습니다. 인공지능이 팀의 대화를 분석해서 내린 점수가 선생님의 평가와 상당히 비슷했기 때문입니다. 단, 인공지능이 아직 완벽하지는 않아서 추가 조정이 필요할 수 있습니다.

이 연구가 의미하는 바

이 연는 팀 문제 해결 훈련에서 평가를 자동화하여 선생님의 부담을 줄이고 학생들에게 더 빠른 피드백을 제공할 수 있는 가능성을 보여줍니다. 특히 사이버 보안 교육처럼 현장에서 즉각적인 대처가 중요한 분야에서 유용합니다. 앞으로 더 많은 데이터로 학습시키면 인공지능 평가의 정확도는 더 높아질 것입니다. 물론 완전히 자동화하기보다는 선생님의 평가를 돕는 도구로 사용하는 것이 더 현실적입니다. 일상적으로는 학교의 팀 프로젝트 평가나 기업의 신입 교육에서도 비슷한 방법을 적용할 수 있을 겁니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.