AI가 바꾼 평가, 진짜 실력은 어디에?

AI가 글쓰기 숙제를 대신 해주는 시대가 왔습니다. 시험은 이제 무엇을 확인해야 할까요?

시험의 의미가 흔들리고 있다

대학에서는 그동안 리포트, 문제 풀이, 코딩 같은 과제로 학생의 실력을 확인해 왔습니다. 그런데 요즘 AI는 이런 과제를 몇 초 만에 만들어 줍니다. 특히 거대 언어 모델은 엄청난 양의 글을 학습해서 사람처럼 자연스러운 답을 내놓는 AI입니다. 예를 들어, 에세이 주제를 입력하면 AI가 완성된 글을 바로 써 줍니다. 이제 학생이 직접 고민하지 않아도 결과물이 나옵니다. 시험 결과가 학생의 실력과 일치하지 않을 수 있다는 뜻입니다.

연구진이 지적하는 핵심은 부정행위가 아니라 '평가 방식이 제대로 일하고 있는가'입니다. 원래 시험은 학생이 문제를 해결하는 과정에서 이해했는지, 논리적으로 생각하는지를 보려고 했습니다. 그런데 AI가 결과물을 대신 만들면 그 과정을 볼 수 없습니다. 결국 시험은 학생의 이해력을 재는 대신, 다른 것을 재게 됩니다.

이 논문은 '결과물을 보여주는 것'이 학습 증거가 될 수 없다는 점을 강조합니다. 예전에는 글을 완성했다는 것 자체가 그 과정을 이해했다는 뜻이었습니다. 하지만 AI 시대에는 결과물의 출처가 불분명합니다. 그래서 연구진은 평가가 결과물이 아니라 '그 결과물을 어떻게 해석하고 판단하는지'를 봐야 한다고 말합니다.

실수를 감추는 시험

연구진은 지금 같은 시험 환경이 학생에게 어떤 태도를 강요하는지 분석했습니다. 시험 중 AI 사용을 금지하면 학생은 AI를 쓰지 않고도 어려운 문제를 풀어야 합니다. 하지만 감독이 철저해질수록, 학생은 문제를 푸는 능력보다 '적발되지 않는 방법'에 더 신경을 쓰게 됩니다. 즉 시험이 이해력을 재는 도구가 아니라 규칙을 지키는지, AI를 숨겼는지 확인하는 도구로 변할 수 있습니다.

이 연구가 의미하는 바는 분명합니다. AI가 답을 대신 내줄 수 있는 시대에는 결과물 그 자체를 학습의 증거로 보기 어렵다는 것입니다. 연구진은 평가 방식이 '감시' 쪽으로 가면 안 되고, 학생의 생각을 직접 듣는 방향으로 바뀌어야 한다고 제안합니다. 예를 들어, AI가 만든 글을 보고 학생에게 그 이유를 묻고, 부족한 점을 찾아내는 방식이 필요합니다.

직장과 일상에도 닥칠 변화

이 고민은 대학만의 문제가 아닙니다. 회사에서도 이제 AI가 보고서를 써주고, 개발자도 AI의 도움을 받아 코드를 짭니다. 이렇게 되면 남이 만든 결과물을 이해하고, 문제점을 찾고, 더 좋은 방향으로 고치는 능력이 더 중요해집니다. 교육도 그런 능력을 키워주는 방향으로 바뀌어야 합니다. 이 연구는 단순한 평가 개선 제안이 아니라, AI 시대에 '무엇을 배우고 어떻게 확인할 것인가'라는 큰 질문을 던집니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.