AI 해석, 근거 없이 믿어도 될까?

법률 자문부터 시험 답안까지, 점점 더 AI의 해석에 기대고 있습니다. 그런데 AI가 내린 결론이 왜 그런지, 어떤 근거에서 나온 것인지 제대로 확인할 수 있을까요?

이 논문은 법, 교육, 정책 분석 같은 분야에서 큰 언어 모델(대화형 AI)이 문서를 해석하는 일이 많아진 현실을 다룹니다. 법률가가 판례 요약을 AI에게 맡기거나, 시험 감독관이 학생 답안을 AI로 채점하는 경우를 떠올려 보세요. AI는 마치 의미가 확정된 것처럼 답을 내놓습니다. 하지만 그 뒤에 어떤 자료를 봤는지, 어떤 기준을 적용했는지 알 수 없는 경우가 많습니다.

문제는 단순한 오류가 아닙니다

연구자는 이런 현상을 두고 '해석이 제자리에 있지 않은 실수'라고 설명합니다. 풀어 말하면 이런 뜻입니다. AI의 읽기가 하나의 해석인데도, 마치 유일한 진실처럼 받아들여진다는 것입니다. AI가 시를 분석하며 "이 시는 상실감을 표현한다"고 답했다고 해보죠. 어떤 시구가 그런 결론을 뒷받침하는지, 다른 해석 가능성은 없는지 보여주지 않는다면, 독자는 그 해석을 그저 믿을 수밖에 없습니다.

이런 일이 법이나 정책에서 벌어지면 더 심각합니다. 계약서 조항을 AI가 '무효'라고 판단했다고 해보죠. 근거 조항이 없으면, 계약 당사자들은 왜 무효인지 모른 채 결과만 받아들입니다. 실수가 나중에 드러나도, 누가 어떤 근거로 판단했는지 책임을 따지기 어렵습니다.

해석학이 주는 힌트

연구자는 오래된 철학 분야인 '해석학'에서 실마리를 찾습니다. 해석학은 사람들이 글이나 말을 이해하는 과정을 연구하는 학문입니다. 중요한 통찰은 하나입니다. 우리가 어떤 글을 이해할 때, '전체 맥락'과 '개별 문장'을 항상 오간다는 것입니다. 그리고 새로운 해석은 언제나 잠정적입니다. 더 나은 해석으로 바뀔 수 있다는 점도 강조합니다.

연구자는 이 관점을 AI에 적용하자고 말합니다. 그러면 AI와 사람이 '함께' 해석하는 방식을 설계할 수 있습니다. 핵심 원칙은 세 가지입니다. 첫째, AI가 내놓는 해석에는 근거 자료와 적용 범위가 명시되어야 합니다. 둘째, 하나의 해석만 제시하지 말고, 논리적으로 가능한 다른 해석도 함께 보존해야 합니다. 셋째, 독자가 원문을 직접 찾아볼 수 있도록 출처를 연결해야 합니다.

사람과 AI의 공동 해석은 어떻게 가능할까

사실 AI는 스스로의 해석 과정을 설명하기 어렵습니다. 내부에서 수많은 계산을 거쳐 답을 만들어 내기 때문입니다. 그렇기에 사람이 끝까지 검토하고 이의를 제기할 수 있는 구조가 필요합니다. 연구자는 이것을 사람과 AI가 함께 해석하는 '공동 해석'이라고 부릅니다.

이 원칙은 기술 설계에 바로 반영될 수 있습니다. AI가 답변을 생성할 때, 각 주장에 번호를 매기고 관련 인용을 덧붙이는 방식입니다. 답변 끝에 "이 해석은 다른 관점에서 보면 이렇게도 볼 수 있습니다"라는 대안을 넣는 기능도 가능합니다. 중요한 것은 AI의 답을 '완성된 결과물'로 보지 않는 것입니다. '함께 검토할 재료'로 다뤄야 합니다.

이 연구가 우리 삶에 주는 의미

이 연구가 의미하는 바는 분명합니다. AI가 사람의 결정을 대신하는 시대입니다. 단순히 답이 맞는지보다, '그 근거를 우리가 확인할 수 있는가'가 중요해졌습니다. 학교에서 학생이 AI의 해석을 배우고, 법정에서 판사가 AI의 해석을 참고한다면, 그 해석을 검증하고 이의를 제기할 길이 있어야 합니다. 교사가 AI를 이용해 학생 에세이를 평가할 때도 마찬가지입니다. AI가 '주장이 약하다'고 지적하면, 근거 문장이 어디인지 보여줘야 합니다. 그래야 학생도 배울 수 있고, 교사도 판단의 근거를 갖게 됩니다. 그렇게 될 때 비로소 AI는 책임 있는 동반자가 될 수 있습니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.