컴퓨터 사용 기록으로 '무슨 작업 중인지' 추론하는 AI 기술

🔊 AI 음성으로 듣기 — MP3 오디오 파일

우리가 컴퓨터에서 무슨 일을 하고 있는지, AI가 클릭 하나하나로 알아낼 수 있을까? 이 논문은 그 질문에 답을 주는 연구예요.

컴퓨터를 쓸 때 우리는 무수히 많은 클릭과 타이핑을 합니다. 이런 행동 하나하나는 디지털 로그(기록)로 남는데, 그 데이터는 너무 많고 잡음(불필요한 정보)이 많아서 '이 사람이 지금 어떤 큰 작업을 하고 있는지'를 파악하기 어렵습니다. 예를 들어, 브라우저에서 탭을 열고, 검색하고, 파일을 내려받는 행동이 모두 섞여 있으면 '이 사람이 보고서를 쓰고 있다'는 사실을 알아내기가 쉽지 않죠. 기존 연구는 인공지능 중에서도 딥러닝(깊은 학습)을 이용해 이런 동작을 묶어서 의미 있는 활동으로 분류하려고 했지만, 잡음에 약하고 다른 프로그램(예: 엑셀 vs. 브라우저) 간에는 잘 통하지 않았습니다.

문제를 해결한 방법: 거대한 언어 모델(LLM) 활용

연구팀은 '워크플로뷰'라는 새로운 시스템을 만들었습니다. 이 시스템은 최근 각광받는 거대 언어 모델(LLM, 쉽게 말해 초강력 AI)을 이용해서, 아주 작은 단위의 행동(예: 마우스 클릭, 키보드 입력)을 사람이 이해할 수 있는 큰 활동(예: '주문 처리', '학습 자료 읽기')으로 추상화(요약)합니다. 핵심은 잡음을 무시하고 패턴을 찾아내는 능력이 뛰어나다는 점입니다. 연구진은 크게 세 가지 도전적인 과제(구체적인 작업)로 이 시스템의 성능을 검증했습니다.

첫 번째 과제: 브라우저 로그에서 '무슨 일을 했는지' 맞히기

브라우저 사용 기록만 보고 그 사람이 무엇을 했는지 AI가 설명하게 했습니다. 별다른 추가 학습 없이도 매우 정확하게 맞혔는데, 측정한 의미 유사도(두 문장이 얼마나 비슷한지 수치로 나타낸 것)가 0.91(1에 가까울수록 완벽)에 달했습니다. 이는 '이 사람이 여행 계획을 세우고 있다' 같은 추상적 작업을 데이터 조각만으로도 완벽히 재구성할 수 있음을 보여줍니다.

두 번째 과제: 가상 강의에서 학생이 중도 포기할지 예측

온라인 강의(MOOC, 무료 공개 강좌)에서 학생들의 상호작용 기록(클릭, 퀴즈 풀이 등)을 아주 적은 데이터(몇 명의 학생 기록)만으로 분석해, 그 학생이 앞으로 강의를 그만���지 예측했습니다. 기존 방법보다 훨씬 좋은 성능을 보였는데, 이는 교육 분야에서 위기에 처한 학생을 조기에 발견하는 데 도움이 될 수 있습니다.

이 연구가 의미하는 바는?

이 연구는 우리가 매일 쓰는 디지털 도구가 더 똑똑해질 가능성을 보여줍니다. 예를 들어, 회사에서 직원들이 어떤 업무를 많이 하는지 자동으로 분석해 프로그램 사용 환경을 개선하거나, 온라인 강의에서 학생이 어려움을 겪을 때 실시간으로 도움을 줄 수 있습니다. 또한 거대 언어 모델을 일상 로그 분석에 적용한 첫 사례 중 하나로, 앞으로 다양한 분야에서 '사용자가 지금 무슨 일을 하고 있는지' 이해하는 기술이 더 발전할 것으로 기대됩니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.