같은 내용인데 AI 비용이 언어마다 다르다고?

같은 내용을 물어도 어떤 언어로 쓰느냐에 따라 AI 사용료가 달라집니다. 연구진은 그 차이를 정확히 재는 도구를 만들었습니다.

AI 챗봇은 글을 읽을 때 텍스트를 작은 조각으로 자릅니다. 이 조각을 '토큰'이라고 합니다. AI는 토큰 단위로 비용을 계산하고, 처리 속도와 대화 길이도 토큰 수에 따라 달라집니다. 문제는 언어마다 같은 내용을 자르는 조각 수가 크게 다르다는 점입니다. 예를 들어 AI에게 '이 코드가 왜 오류가 나요?'라고 물으면, AI는 이 문장을 조각으로 자른 뒤 처리합니다. 조각 수가 많을수록 돈이 더 들고 답변도 느려집니다.

언어마다 다른 토큰 수

영어는 비교적 짧은 조각으로 잘립니다. 하지만 벵골어나 힌디어처럼 쓰는 문자가 다른 언어는 같은 뜻을 나타내는 데 훨씬 많은 조각이 필요할 수 있습니다. 연구진은 이 차이를 '토큰화 프리미엄'이라고 부릅니다. 쉽게 말해, 같은 상품인데 언어 때문에 추가 비용을 내는 셈입니다.

이번 연구에서는 널리 쓰이는 세 종류의 토크나이저를 비교했습니다. 토크나이저는 글을 조각으로 자르는 AI의 도구입니다. GPT-4o, 큐원2.5-7B, 미스트랄-7B가 그 대상입니다. 이 도구들이 파이썬 교육용 콘텐츠 120개를 여섯 언어로 번역한 문장을 어떻게 처리하는지 측정했습니다. 대상 언어는 영어, 벵골어, 힌디어, 아랍어, 타밀어, 요루바어입니다.

그 결과, 벵골어는 GPT-4o에서 영어보다 약 1.56배 많은 토큰을 사용했습니다. 같은 내용인데 56% 더 많은 비용이 든다는 뜻입니다. 또한 토큰 수가 많아지면 AI가 기억할 수 있는 대화 길이도 줄어듭니다. AI를 학습 도구로 쓰는 많은 사람들이 불리해지는 구조입니다.

공정한 AI를 위한 감사 도구

연구진은 이 문제를 재현하고 측정하는 기준인 '토큰화 형평성 감사'를 만들었습니다. 이 도구를 쓰면 어떤 AI가 어떤 언어를 불리하게 대하는지 쉽게 확인할 수 있습니다. 연구진은 특히 벵골어와 힌디어를 주요 검증 대상으로 삼았고, 나머지 언어는 다른 문자 체계와 어족에서도 비슷한 문제가 나타나는지 탐색했습니다.

이 연구가 의미하는 바는, AI 회사들이 단순히 모델 성능만 높일 것이 아니라 언어별 비용 공평성도 신경 써야 한다는 점입니다. 앞으로 더 나은 토크나이저가 나오면, 같은 내용을 어떤 언어로 묻든 비슷한 비용으로 AI 혜택을 누릴 수 있을 것입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.