Sign In

POSESTITCH-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language Translation

Created by
  • Haebom
Category
Empty

저자

Abhinav Joshi, Vaibhav Sharma, Sanjeet Singh, Ashutosh Modi

개요

수화 번역은 대규모의 문장 정렬 데이터 부족으로 인해 어려운 과제로 남아 있습니다. POSESTITCH-SLT는 언어적 템플릿 기반 문장 생성 기술에서 영감을 얻은 새로운 사전 훈련 방식을 제안합니다. How2Sign과 iSign 두 개의 수화 데이터셋에 대한 번역 비교를 통해, 템플릿으로 생성된 문장 쌍을 훈련에 고려할 때 간단한 트랜스포머 기반 인코더-디코더 아키텍처가 기존 연구를 능가함을 보여줍니다. POSESTITCH-SLT는 How2Sign에서 BLEU-4 점수를 1.97에서 4.56으로, iSign에서 0.55에서 3.43으로 향상시켜, 포즈 기반 gloss-free 번역에 대한 기존 최고 성능을 능가합니다. 이 결과는 저자원 수화 환경에서 템플릿 기반 합성 지도 학습의 효과를 입증합니다.

시사점, 한계점

시사점:
템플릿 기반 합성 지도를 활용하여 저자원 수화 번역 성능을 향상시켰습니다.
간단한 트랜스포머 기반 모델을 사용하여 기존 연구보다 우수한 성능을 달성했습니다.
How2Sign 및 iSign 데이터셋에서 성능 향상을 보였습니다.
한계점:
논문에 제시된 한계점은 명시되지 않았습니다.
👍