AI가 도구를 쓰는 법, 인터넷 데이터로 배운다

AI가 스스로 계산기를 두드리고, 자료를 찾고, 문서를 요약하는 세상이 오고 있습니다. 하지만 AI에게 도구를 쓰는 법을 가르치는 일은 아직 풀리지 않은 숙제입니다. 이 연구는 그 숙제를 푸는 새로운 방법을 제시했습니다.

대형 언어 모델은 우리가 쓴 글을 읽고 이해하는 AI입니다. 이런 AI는 대화는 잘하지만, 실제로 무언가를 하려면 도구가 필요합니다. 예를 들어 최신 뉴스를 알려달라고 하면, AI는 인터넷 검색 기능을 써야 합니다. 이때 검색창을 열고, 키워드를 고르고, 결과를 읽는 일련의 과정을 '도구 사용'이라고 합니다. 문제는 이런 능력이 쉽게 늘지 않는다는 점입니다.

중간 훈련이라는 끼워 넣기

AI를 만드는 과정은 보통 두 단계로 나뉩니다. 첫째는 수많은 글을 읽혀서 언어 감각을 기르는 단계, 둘째는 질문과 답을 보여주며 대화를 가르치는 단계입니다. 이 연구는 그 사이에 '중간 훈련'이라는 단계를 추가했습니다. 마치 운동선수가 체력 훈련 후 전술 훈련 전에 기초 동작을 반복 연습하는 것과 같습니다.

웹과 PDF에서 도구 사용법을 배우다

연구진은 인터넷에 있는 거대한 웹 문서, PDF, 프로그램 코드를 모았습니다. 그리고 실제 도구와 연결하는 코드와 문서를 이용해 AI가 따라 할 문제와 정답을 만들었습니다. 이렇게 만들어진 데이터 묶음을 '미드툴 믹스'라고 부릅니다. AI는 이 데이터로 훈련하며 4가지 능력을 기릅니다. 도구가 무엇을 할 수 있는지 알아보고, 대화 내용에서 필요한 값을 찾고, 여러 도구를 순서대로 조합하고, 정보가 부족할 때 다시 질문하거나 다른 도구로 채우는 법을 익힙니다.

결과는 어땠을까

연구진은 이 방법으로 40억 개와 80억 개의 '매개변수'를 가진 두 개의 작은 AI 모델을 훈련했습니다. 매개변수는 AI의 기억 저장소 크기라고 생각하면 쉽습니다. 훈련 후에는 기존의 대화용 훈련과 '강화 학습'을 추가로 진행했습니다. 강화 학습은 시행착오를 거치며 더 좋은 답을 고르도록 보상하는 방식입니다. 그 결과, 중간 훈련을 거친 모델이 그렇지 않은 모델보다 도구 사용과 관련된 시험에서 더 좋은 점수를 받았습니다. 특히 실제 도구를 사용하는 여러 상황에서 안정적으로 동작했습니다.

우리 삶에는 어떤 변화가

이 연구가 의미하는 바는, AI의 도구 사용 능력도 데이터로 충분히 가르칠 수 있다는 점입니다. 비싼 최고급 모델이 아니어도 중간 크기 모델에 좋은 훈련 데이터를 넣으면 실용적인 능력을 갖출 수 있습니다. 앞으로 우리가 쓰는 챗봇이 계산, 검색, 일정 관리, 파일 정리 같은 일을 더 자신 있게 처리할 수 있게 될 것입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.