공중에 쓴 글씨도 읽는 AI 펜

디지털펜으로 종이에 쓰면 글씨가 화면에 나타나죠? 그런데 펜이 종이에 닿지 않고 공중에 떠 있어도 글씨를 읽어낼 수 있다면? 이 연구는 바로 그런 기술을 개발했습니다.

펜이 공중에 떠 있을 때도 글씨를 보는 AI

스마트폰이나 태블릿에서 손으로 글씨를 쓰면 기기가 인식합니다. 보통은 펜이나 손가락이 화면에 닿아야 합니다. 하지만 실제 종이에 펜으로 쓸 때는 펜이 종이에 닿는 순간과 떠서 움직이는 순간이 번갈아 일어납니다. 기존 기술은 붓는 순간만 기록했지만, 이 연구는 펜이 공중에 떠서 움직이는 경로도 함께 분석했습니다. 그래야 다음에 어디에 찍을지 더 정확히 예측할 수 있기 때문입니다.

연구팀은 IMU 센서가 달린 디지털펜을 사용했습니다. IMU 센서는 스마트폰에 들어있는 가속도계나 자이로스코프 같은 장치로, 펜의 움직임을 3차원으로 감지합니다. 펜이 종이에 닿을 때와 공중에 떠 있을 때의 움직임 데이터를 수집했습니다. 그리 이 데이터를 학습시키기 위해 '혼합 전문가 모델'이라는 AI 기술을 적용했습니다. 쉽게 말해, 두 명의 AI 전문가가 각자 한 분야씩 맡는 겁니다. 한 전문가는 펜이 종이에 닿았을 때의 궤적을 재현하고, 다른 전문가는 펜이 공중에 떠 있을 때의 움직임을 분석합니다.

두 전문가가 협력해 더 정확한 궤적을 만든다

이 두 전문가 AI는 각자 특화된 데이터를 따로 배웁니다. 예를 들어, '접촉 전문가'는 펜이 종이에 닿은 상태에서의 속도나 압력 패턴을 익힙니다. '비접촉 전문가'는 공중에서 손목을 움직이는 자연스러운 궤적을 배웁니다. 연구팀은 이 두 전문가가 서로 협력하도록 설계했습니다. 비접촉 전문가가 예측한 공중 경로를 바탕으로, 접촉 전문가가 다음 글씨를 더 정확히 그려낼 수 있게 도와줍니다. 이렇게 하면 전체 손글씨 궤적이 훨씬 부드럽고 정확해집니다.

연구팀은 또한 공개 데이터셋을 새로 만들었습니다. 다양한 사람이 여러 표면에 글씨를 쓴 데이터를 모아서 다른 연구자들도 이 기술을 활용할 수 있게 했습니다. 이 데이터셋에는 펜이 종이에 닿은 순간과 떠 있는 순간이 모두 기록되어 있습니다. 덕분에 앞으로 더 많은 연구가 이 주제로 진행될 수 있습니다.

이 연구가 우리 생활에 주는 의미

이 기술이 발전하면 교실에서 글씨 쓰기를 배우는 아이들에게 큰 도움이 될 수 있습니다. 디지털펜이 공중에서 손글씨를 추적해 잘못된 획순이나 자세를 바로잡아 줄 수 있습니다. 또 태블릿이나 스마트폰에서 필기할 때도 펜이 떠 있는 동안의 움직임까지 반영하므로 더 자연스러운 필기감을 제공할 수 있습니다. 디지털 노트 필기나 그림 그리기 앱에도 적용될 수 있습니다.

물론 아직 완벽한 기술은 아닙니다. 다양한 사람의 필체에 대응하고, 긴 문장을 쓸 때도 안정적으로 인식하려면 더 많은 연구가 필요합니다. 하지만 이번 연구는 손글씨 인식의 한계를 넘어서는 중요한 발걸음입니다. 앞으로 디지털펜이 더 똑똑해져서 우리의 손글씨를 더 잘 이해할 날이 올 것입니다.

📖 원문 보기: arXiv 원문

본 요약은 AI로 작성되었습니다. arXiv 논문을 바탕으로 재구성되었습니다.