Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Event Stream-based Sign Language Translation: A High-Definition Benchmark Dataset and A Novel Baseline

Created by
  • Haebom
Category
Empty

저자

Shiao Wang, Xiao Wang, Duoqing Yang, Yao Rong, Fuling Wang, Jianing Li, Lin Zhu, Bo Jiang

개요

본 논문은 AI 보조 장애 분야의 핵심 과제인 수어 번역(SLT) 문제를 생체 모방 이벤트 카메라를 사용하여 해결하고자 한다. 조명 변화, 빠른 손 움직임, 개인 정보 보호 문제에 취약한 기존의 가시광선 기반 SLT 방법의 한계를 극복하기 위해, 새로운 고해상도 이벤트 기반 수어 데이터셋인 Event-CSL을 제안한다. Event-CSL은 다양한 환경에서 수집된 14,827개의 비디오, 14,821개의 gloss, 2,544개의 중국어 단어로 구성되어 데이터 부족 문제를 해결한다. 또한, Mamba 기반 메모리 집계 모듈, 시간적 컨볼루션, 그래프 기반 시공간 융합 모듈을 활용하는 새로운 이벤트 기반 수어 번역 프레임워크인 EvSLT를 제안하고, Event-CSL 및 다른 공개 데이터셋에서 우수한 성능을 입증했다.

시사점, 한계점

시사점:
이벤트 카메라를 활용하여 조명, 움직임 및 개인 정보 보호 문제에 강한 수어 번역 가능성을 제시.
새로운 이벤트 기반 수어 데이터셋 Event-CSL을 공개하여 연구 활성화 기여.
EvSLT 프레임워크를 통해 기존 SLT 방법보다 우수한 성능 달성.
한계점:
논문에서 구체적인 한계점이 명시적으로 언급되지 않음. (데이터셋 또는 EvSLT 프레임워크의 특정 제한 사항 등)
향후 연구를 위한 추가적인 데이터셋 확대 및 프레임워크 개선 가능성.
👍