서류 심사 AI, 공공기관에서 믿을 수 있을까?

한 장의 서류에서 필요한 정보만 쏙쏙 뽑아내는 일. 사람 눈에는 쉬워 보여도 컴퓨터에게는 아주 어려운 작업입니다. 이 연구는 그 일을 AI가 얼마나 잘 해내는지, 실제 국제 교환학생 지원서를 가지고 시험했습니다. 특히 값비싼 상용 프로그램 대신 누구나 쓸 수 있는 공개 도구만 사용했습니다.

AI가 서류를 읽는다는 것은 왜 중요할까요?

우리 주변에는 아직도 종이 서류가 많습니다. 지원서, 청구서, 진단서처럼 여러 가지 정보가 뒤섞여 있는 문서 말입니다. 예를 들어 지원서에는 이름, 전화번호, 학교 이름, 성적, 자기소개 같은 각각 다른 종류의 정보가 한 장에 들어 있습니다. 이런 문서에서 필요한 내용만 골라 일정한 형식으로 정리하는 일을 컴퓨터가 하게 해 준다면, 은행이나 관공서에서 일일이 손으로 입력하던 수고를 크게 줄일 수 있습니다. 전문가들은 이 작업을 '구조화된 정보 추출'이라고 부릅니다. 문서 한 장을 읽는 순서도 다양합니다. 인쇄된 글자, 손으로 쓴 글씨, 도장, 표까지 각각 다르게 처리해야 하기 때문입니다.

실제로 많은 기업이 이런 일에 상용 프로그램을 쓰지만, 가격이 비싸고 내부 데이터를 외부 회사에 넘겨야 한다는 걱정도 있습니다. 오픈소스 프로그램은 돈이 들지 않고, 개발자가 직접 확인하고 고칠 수 있어서 더 투명합니다. 그런데 정작 이렇게 좋은 도구들이 실제 업무에서 얼마나 정확한지 제대로 실험한 연구는 드물었습니다.

왜 공공기관에서 더 중요할까요?

공공기관은 일반 회사보다 더 조심해야 합니다. 잘못 읽으면 입학 허가를 오류, 보험 지급을 누락하는 등 사고로 이어질 수 있기 때문입니다. 유럽연합은 인공지능을 이용할 때 시민에게 미치는 영향이 크면 더 엄격하게 관리하도록 했습니다. 공공 분야에서 쓰는 AI 중 일부를 '고위험'으로 분류하고, 실제로 쓰기 전에 평가를 거치도록 요구합니다. 이번 연구는 바로 그 '고위험' 분야에 해당하는 지원서 심사를 실험 재료로 골라낸 것입니다.

어떤 실험을 했나요?

연구진은 국제 교환학생 선발에 쓰이는 실제 지원서를 사용했습니다. 지원서에는 인쇄된 이름, 손으로 쓴 지원 동기, 학교 도장, 성적표처럼 다양한 형태의 정보가 섞여 있습니다. 연구의 목표는 이 가운데 이름과 출신 학교, 지원 동기 같은 항목을 AI가 정확히 뽑아내는지 확인하는 것이었습니다. 사용한 도구는 모두 오픈소스로, 누구나 무료로 내려받아 쓸 수 있는 프로그램들입니다.

처리 과정은 두 단계로 나뉩니다. 먼저 종이 문서를 이미지로 읽어내는 기술이 스캔된 서류의 글자를 컴퓨터 글자로 바꿉니다. 그다음에는 글자의 뜻을 이해하는 거대한 언어 모델이 그 글자 중에서 원하는 정보만 골라냅니다. 이렇게 여러 단계를 거치면서 어디서 실수가 생기는지 살펴보는 것이 이번 실험의 핵심입니다. 실제 서류는 온라인 신청서와 달리 기울어지거나 글자가 뭉개지는 경우도 많아서 더 어렵습니다.

무엇을 발견했나요?

실험 결과, 모든 작업이 공개 프로그램만으로 끝까지 돌아갔다는 점이 가장 큰 성과입니다. 값비싼 상용 서비스 없이도 시스템을 꾸릴 수 있다는 뜻입니다. 하지만 손으로 쓴 부분에서는 정확도가 눈에 띄게 떨어졌습니다. 또 중요한 발견이 하나 있었습니다. 앞 단계에서 글자를 잘못 읽으면, 그 오류가 다음 단계에 그대로 전달된다는 점입니다. 앞에서 잘못 읽은 글자를 뒤에서는 실수인 줄도 모르고 그대로 사용하기 때문입니다.

사람이라면 어색한 문장을 보고 되돌아볼 수 있지만, 대부분의 AI는 스스로 실수를 고치지 못합니다. 그래서 중간 중간 확인 절차가 반드시 필요합니다. 연구진은 단순히 정확도만 보는 것이 아니라, 어떤 단계에서 왜 틀렸는지 분석하는 것이 중요하다고 강조합니다. 이는 규제를 통과하기 위해서도 필요한 일입니다.

이 연구가 우리 생활에 주는 의미는?

이 연구는 오픈소스 AI도 실제 업무에 쓸 수 있을 만큼 성숙했다는 것을 보여줍니다. 동시에 그냥 쓰는 것이 아니라, 먼저 시험하고 검증해야 한다는 교훈도 남겼습니다. 앞으로 정부 관공서나 공공기관에서 AI를 도입할 때, 이 연구처럼 실제 문서로 성능을 확인하는 절차가 더욱 중요해질 것입니다. AI가 사람의 일자리를 뺏을까 걱정하는 시각도 있지만, 이런 연구는 AI가 사람의 확인을 도와주는 도구가 될 수 있다는 희망을 보여줍니다.

앞으로 이런 평가 방식이 더 널리 쓰인다면, 공공 서비스에서 AI를 믿고 맡길 수 있는 기준이 마련될 것입니다. 당장 우리 눈에 보이는 변화는 작겠지만, 한 걸음씩 더 안전한 AI 사용을 위한 토대가 쌓이고 있습니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.