AI 튜터, 블록 코딩도 가르칠 수 있을까?

요즘 학교에서 인공지능(AI)이 과외 선생님 역할을 하는 경우가 늘고 있습니다. 그런데 큰 AI 모델은 돈도 많이 들고 개인정보 문제도 있어 작은 모델이 주목받고 있어요. 이 연구는 그 작은 AI 모델들이 블록 코딩을 제대로 가르칠 수 있는지 시험하는 방법을 만들었습니다.

AI가 학생을 가르치는 'AI 튜터'는 점점 더 많은 학교에서 실험되고 있어요. 하지만 큰 언어 모델(커다란 AI 시스템)은 사용료가 비싸고, 학생 데이터를 외부 회사에 보내야 하는 등 걱정거리가 있습니다. 그래서 학자들은 '작은 언어 모델'이라고 부르는, 규모가 작아서 개인 컴퓨터에서도 돌릴 수 있는 AI에 주목하고 있습니다. 문제는 이 작은 모델들이 교육 현장, 특히 블록을 끌어다 놓으며 코딩하는 '블록 기반 프로그래밍'을 얼마나 잘 가르칠 수 있는지 아직 제대로 평가된 적이 없다는 점이에요.

블록 코딩 튜터 시험대, CSTutorBench

미국 일리노이 대학교 연구팀은 이 문제를 해결하기 위해 'CSTutorBench'라는 시험 도구를 만들었습니다. 이 도구는 VEX VR이라는 로봇 블록 코딩 환경에서 AI 튜터가 얼마나 잘 가르치는지 평가해요. 총 17가지 가상 수업 상황을 준비하고, 교육 전문가들이 만든 채점 기준(어떻게 가르쳐야 좋은 선생님인지에 대한 규칙)에 따라 AI의 답변을 평가합니다. 평가는 사람이 중간에 검토하는 '사람-인공지능 협력 방식'으로 진행됩니다.

시험 결과: 겉모습은 좋지만 속은 아직?

연구팀은 11개의 다른 작은 언어 모델(크기가 40억~120억 파라미터, 즉 뇌 세포 수로 보면 중간 크기)을 시험했습니다. 결과는 흥미로웠어요. 모델들은 '말투가 친절한지', '어려운 단어를 쓰지 않는지' 같은 표면적인 기준에서는 점수가 높았습니다. 하지만 진짜 가르치는 능력, 특히 '답을 그냥 알려주지 않는' 것은 매우 어려워했어요. 쉽게 말해, 아이가 모를 때 정답을 바로 말해주는 '나쁜 선생님'처럼 행동한 거죠. 좋은 튜터는 힌트를 주며 학생 스스로 답을 찾게 도와야 하는데, 대부분의 작은 모델은 이 부분에서 실패했습니다.

이 연구가 의미하는 바는 단순합니다. 작은 AI 모델도 교육용 튜터로 쓸 수 있지만, 아직 '진짜 가르치는 '은 배우지 못했다는 거예요. 특히 블록 코딩처럼 구체적인 상황에서 제대로 가르치려면 추가 훈련이 필요합니다. 예를 들어 모델이 답을 그냥 알려주지 않도록 특별히 조정하거나, 교육 전문가의 피드백을 더 많이 학습시켜야 합니다. 이 연구 결과는 앞으로 학교에서 저렴하고 안전하게 쓸 수 있는 AI 튜터를 개발하는 데 중요한 길잡이가 될 것입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.