집에 두 대의 AI 슈퍼컴퓨터? 간단히 연결해 분산 학습

아직 모르는 분들을 위해 쉽게 설명하면, 이번 연구는 집에서 쓸 만한 작은 AI 컴퓨터 두 대를 인터넷으로 엮어서, 마치 큰 공장처럼 함께 일하게 만든 실험입니다.

최근에는 가정이나 연구실에 두고 쓸 수 있는 작은 AI 전용 컴퓨터가 나오기 시작했습니다. 엔비디아 DGX 스파크가 그 중 하나인데, 이번 연구진은 이 작은 컴퓨터 두 대를 준비했습니다. 보통 언어 모델, 그러니까 챗GPT 같은 AI가 대화를 하기 위해서는 대규모 컴퓨터가 필요한데, 이 연구는 과연 작은 컴퓨터 여러 대로도 가능한지 확인하려는 목적이었습니다.

집에서 직접 서버를 만들다

연구진은 두 대의 DGX 스파크를 테일스케일이라는 도구로 연결했습니다. 테일스케일은 복잡한 네트워크 설정 없이도 집 밖에서도 안전하게 접속할 수 있게 해주는 일종의 사설망 도구입니다. 그리고 두 컴퓨터 사이에는 초고속 광케이블을 직접 연결했습니다. 이렇게 해서 마치 두 명의 일꾼이 같은 일감을 나눠 맡는 구조를 만들었습니다.

AI 학습에는 파이토치라는 프로그래밍 도구와 분산 학습 기법을 사용했습니다. 분산 학습이란 하나의 큰 작업을 여러 컴퓨터에 나눠서 동시에 처리하는 방법입니다. 연구진은 나노챗이라는 작은 언어 모델을 새로 만들어 두 대의 컴퓨터에서 함께 학습시켰습니다. 이 과정에서 한 번에 처리하는 데이터 덩어리 크기는 대략 13만 개의 토큰, 즉 단어 조각을 담았습니다. 하루 꼬박 걸려서 총 6억 5천만 개의 토큰을 학습하는 데 성공했습니다.

어려움도 있었지만 해결했어요

처음에는 학습을 시작하자마자 멈추는 버그가 나타났습니다. 병렬 통신 NCCL이라는 장치 사이의 대화 시스템이 타임아웃, 즉 정해진 시간 안에 응답이 없어서 실패한 것이었습니다. 연구진은 이 문제를 단계별로 추적하여 해결했습니다. 이 과정에서 보여준 것은 실제로 이런 장비를 운영할 때 필요한 문제 해결 능력입니다. 그냥 이론이 아니라 현장에서 부딪히는 어려움을 다루었다는 점에서 의미가 큽니다.

이 연구가 의미하는 바는, 저렴하고 작은 AI 컴퓨터 여러 대를 인터넷으로 연결해도 얼마든지 제법 큰 언어 모델을 학습시 수 있다는 것입니다. 개인 연구자나 교육기관이 대형 데이터센터 없이도 자체적으로 AI 학습 실험을 할 수 있는 길을 열어준 셈입니다. 사이버 보안 정보를 학습시키는 응용 사례도 언급되어, 실제 실무 영역에도 적용될 수 있을 것으로 보입니다.

물론 아직은 속도가 제한적이고 설정도 쉽지 않습니다. 하지만 이 실험은 AI 학습 인프라의 문턱을 낮출 중요한 출발점이 될 수 있습니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.