Sign language recognition from skeletal data using graph and recurrent neural networks
Created by
Haebom
Category
Empty
저자
B. Mederos, J. Mejia, A. Medina-Reyes, Y. Espinosa-Almeyda, J. D. Diaz-Roman, I. Rodriguez-Mederos, M. Mejia-Carreon, F. Gonzalez-Lopez
개요
본 논문은 비디오 시퀀스에서 추출한 골격 기반 포즈 데이터를 사용하여 고립된 수화 제스처를 인식하는 접근 방식을 제시한다. 정확한 분류를 위해 Graph-GRU 시간적 네트워크를 제안하여 프레임 간의 공간적 및 시간적 종속성을 모델링한다. Ankara University Turkish sign language (AUTSL) 데이터 세트에서 모델을 학습하고 평가했으며 높은 정확도를 달성했다.
시사점, 한계점
•
Graph-GRU 네트워크를 사용하여 공간적 및 시간적 종속성을 효과적으로 모델링하여 수화 인식 정확도를 향상시켰다.
•
AUTSL 데이터 세트에서 높은 정확도를 달성하여 제안하는 방법의 효능을 입증했다.
•
골격 기반 포즈 데이터를 사용하여 수화 이해를 위한 잠재력을 보여주었다.
•
제한점으로는 특정 데이터 세트(AUTSL)에 대한 평가만 이루어졌으며, 다른 데이터 세트 및 더 복잡한 수화 상황에 대한 일반화 가능성은 추가 연구가 필요하다.
•
제스처 인식의 정확도 향상 외에, 모델의 효율성 및 계산 비용에 대한 분석은 포함되지 않았다.