AI 스스로 가르칠 때, 방향을 달리해야 더 똑똑해진다

지금까지는 AI가 스스로 문제를 풀고 정답을 확인하는 ‘자가 훈련’ 방법을 많이 썼어요. 그런데 이 방식이 오히려 복잡한 추론 능력을 떨어뜨릴 수 있다는 사실이 밝혀졌습니다. 연구진은 문제 푸는 도중의 불확실성 정도에 따라 가르치는 방향을 바꾸면 이 문제를 해결할 수 있다고 제안했어요.

AI, 특히 대규모 언어 모델(LLM)은 엄청난 양의 데이터를 학습한 후, 실제 사용 전에 다시 한 번 스스로 훈련하는 과정을 거쳐요. 이때 많이 쓰는 방법이 ‘온폴리시 자기 증류(OPSD)’인데요, 쉽게 말해 AI가 자신이 만든 문제 풀이 과정을 스스로 선생님이 되어 다시 가르치는 방식입니다. 예를 들어, 수학 문제를 풀 때 힌트나 참고 풀이를 주고, 그 답과 자신의 답을 비교하며 더 좋은 답을 내도록 조정하는 거죠. 최근 많은 연구에서 이 방법이 성능을 높인다고 알려져 있어서 널리 사용되고 있어요.

그런데 이번 논문은 오히려 이 자기 증류 방식이 복잡한 추론 능력을 떨어뜨린다고 지적합니다. 왜 그럴까요? 연구진이 풀이 과정을 토큰(글자 조각) 하나하나 분석해 보니, 문제는 모든 토큰에 똑같은 방식으로 선생님의 지도를 적용하기 때문이었어요. AI가 문제를 풀다 보면 정말 자신 없는 부분(불확실성이 높은 부분)과 확신하는 부분(불확실성이 낮은 부분)이 섞여 있습니다. 자신 없는 부분에서는 여러 가능성을 시험해 보는 ‘탐험’이 중요한데, 기존 방법은 무조건 선생님의 답에 맞추도록 강제해서 탐험을 막아버려요. 반면 확신하는 부분에서는 선생님의 답에서 벗어나면 작은 실수가 쌓여 큰 오류로 이어집니다.

AI의 불확실성에 따라 가르치는 방향을 바꾸다

연구진은 이 문제를 해결하기 위해 ‘방향 적응형 자기 증류(DASD)’라는 새 방법을 제안합니다. 핵심 아이디어는 단순합니다. AI가 풀이 과정에서 어떤 부분을 얼마나 불확실하게 생각하는지(엔트로피)를 측정해서, 불확실성이 높은 토큰은 오히려 선생님과 반대 방향으로 밀어내어 탐험을 장려합니다. 반대로 불확실성이 낮은 부분은 선생님의 방향으로 끌어당겨 정확도를 높입니다. 마치 공부할 때 완전히 모르는 문제는 여러 방법을 시도해 보도록 하고, 자신 있는 문제는 실수하지 않도록 정답을 확실히 알려주는 것과 같아요. 실험 결과, 이 방법이 기존 자기 증류 방식보다 복잡한 추론 과제에서 더 나은 성능을 보였다고 합니다.

이 연구가 의미하는 바는, AI를 더 똑똑하게 만들기 위해 단순히 ‘많이 가르친다’보다 ‘상황에 맞게 다르게 가르친다’가 중요하다는 점입니다. 앞으로 우리가 쓰는 AI 비서나 번역기, 문제풀이 도우미 등이 더 논리적이고 창의적인 답을 내놓는 데 도움이 될 수 있습니다. 특히 교육 현장에서 학생 수준에 맞춰 가르치는 ‘개별화 학습’처럼, AI도 스스로의 약점과 강점을 고려해 학습 방식을 조정하는 방향으로 발전할 가능성을 보여줍니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.