Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Skeleton-based sign language recognition using a dual-stream spatio-temporal dynamic graph convolutional network

Created by
  • Haebom

저자

Liangjin Liu, Haoyang Zheng, Zhengzhong Zhu, Pei Zhou

개요

본 논문은 서로 형태적으로 유사하지만 의미적으로는 다른 수화 동작을 인식하는 데 어려움을 겪는 독립 수화 인식(ISLR) 문제를 해결하기 위해 Dual-SignLanguageNet(DSLNet)을 제안합니다. DSLNet은 손 모양과 움직임 궤적을 별개의 좌표계에서 모델링하는 이중 참조, 이중 스트림 아키텍처를 사용합니다. 손목 중심 좌표계에서 형태를 모델링하고 얼굴 중심 좌표계에서 맥락을 고려한 궤적을 모델링하여, Topology-aware graph convolution과 Finsler geometry-based encoder를 통해 각각의 특징을 추출합니다. 최종적으로 Geometry-driven optimal transport fusion mechanism을 통해 두 특징을 통합합니다. 실험 결과 WLASL-100, WLASL-300, LSA64 데이터셋에서 경쟁 모델보다 적은 파라미터로 최첨단 성능(각각 93.70%, 89.97%, 99.79%)을 달성했습니다.

시사점, 한계점

시사점:
손 모양과 움직임 궤적을 분리하여 모델링하는 새로운 접근 방식을 제시하여 ISLR 성능 향상에 기여.
Topology-aware graph convolution과 Finsler geometry-based encoder를 활용하여 기존 방법의 한계를 극복.
Geometry-driven optimal transport fusion mechanism을 통해 효과적으로 다양한 특징을 통합.
경쟁 모델보다 적은 파라미터로 최첨단 성능 달성.
한계점:
제안된 모델의 일반화 성능에 대한 추가적인 평가 필요.
다양한 조명 조건이나 배경 환경에서의 성능 평가 부족.
실제 환경에서의 robustness에 대한 추가적인 연구 필요.
👍