AI 비서가 내 동의 없이 행동한다면?

AI가 점점 더 많은 일을 스스로 처리하게 되면서, 우리는 '이 AI가 내가 원하지 않는 일을 하면 어쩌지?'라는 걱정을 하게 됩니다. 이 연구는 그런 걱정을 '위임 후회'라는 이름으로 분석했어요.

왜 우리는 AI에게 일을 맡기는 걸까?

요즘 AI는 단순히 질문에 답하는 수준을 넘어, 실제로 행동을 취하는 경우가 늘고 있어요. 예를 들어, "내 일정을 정리해줘"라고 말하면 AI가 직접 캘린더에 일정을 등록하거나, "할인 쿠폰 찾아줘"라고 하면 AI가 직접 쇼핑몰에서 쿠폰을 찾아 적용하는 식이죠. 그런데 문제는 AI가 어떤 행동을 할지 우리가 완전히 예측할 수 없다는 점입니다. 연구팀은 AI가 우리 눈에 띄지 않는 부분에서 너무 많은 일을 해버릴 때 생기는 불편함을 '위임 후회'라고 부르기로 했어요.

연구팀이 실제로 알아낸 것

연구진은 20명의 대학생에게 '오픈클로'라는 범용 AI 비서를 써서 다섯 가지 일상 작업을 하게 했어요. 작업은 개인정보가 많이 필요한 것(예: 연락처 뒤지기), 결과가 중요하거나 되돌리기 어려운 것(예: 이메일 발송) 등 다양했죠. 그리고 나서 참가자들이 AI를 얼마나 믿는지, 통제권을 얼마나 유지하고 싶은지 등을 5점 척도로 물었고, 자유롭게 적은 의견도 분석했어요. 그 결과 세 가지 재미있는 사실이 드러났습니다.

첫째, 사람들은 AI 비서 자체를 신뢰하지 않고, 상황에 따라 신뢰 수준을 조절했습니다. 정보를 추천해 주는 일에는 폭넓은 권한을 줬지만, 결과가 되돌리기 힘들고 다른 사람에게 보이는 행동(이메일 보내기 등)은 반드시 자신의 승인을 받고 싶어 했어요. 둘째, '되돌릴 수 없는 것'에 대한 민감도가 매우 컸습니다. 한 번 잘못 보낸 이메일은 수정할 수 없으니까요. 셋째, 참가자들은 AI가 너무 많은 권한을 가지는 것을 불편해했고, 자신이 통제할 수 있다는 느낌이 줄어들수록 AI에 대한 불만이 커졌어요.

우리 생활에는 어떤 의미일까?

이 연구는 앞으로 AI 비서를 설계할 때 중요한 점을 알려줍니다. AI가 모든 일을 알아서 해주는 것이 능사가 아니라는 거예요. 오히려 중요한 결정이나 되돌릴 수 없는 행동 앞에서는 사람에게 확인을 받는 게 더 신뢰를 얻는 방법입니다. 예를 들어, 자동으로 이메일을 보내는 AI보다는 '이메일을 보내도 될까요?'라고 먼저 묻는 AI가 더 좋은 평가를 받을 수 있다는 뜻이죠. 앞으로 AI가 우리 생활에 더 많이 들어올수록, 이런 '확인 과정'이 얼마나 중요한지 다시 한번 생각해 볼 필요가 있습니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.