KAN Text to Vision? The Exploration of Kolmogorov-Arnold Networks for Multi-Scale Sequence-Based Pose Animation from Sign Language Notation

작성자

Haebom

카테고리

Empty

저자

Guanyi Du, Lintao Wang, Kun Hu, Ziyang Wang

💡 개요

본 논문은 기호 기반 수어 표기(HamNoSys)를 다차원적 인간 자세 시퀀스로 변환하는 KANMultiSign이라는 새로운 프레임워크를 제안한다. 이 프레임워크는 전역적 구조 일관성을 위한 중간 단계의 스캐폴드와 세부적인 손가락 움직임을 위한 미세 조정을 포함하는 다중 스케일 생성 전략을 사용한다. 또한, Kolomogorov-Arnold Network(KAN) 모듈을 Transformer 백본에 통합하여 이산적인 음운 기호에서 연속적인 신체 운동으로의 비선형 매핑을 효율적으로 모델링한다.

🔑 시사점 및 한계

•

다중 스케일 감독(multi-scale supervision)은 기호 기반 자세 생성 성능 향상의 핵심 요소임이 입증되었다.

•

KAN 모듈은 적은 파라미터로 효율적인 모델링을 가능하게 하는 대안으로 제시된다.

•

KAN은 주요 정확도 향상 동인보다는 파라미터 수 감소에 더 큰 기여를 하며, 다중 스케일 감독과 결합될 때 경쟁력 있는 성능을 유지한다.

•

본 연구는 여러 유럽 수어 데이터셋에서 기존 베이스라인 대비 동적 시간 왜곡 기반 관절 오차를 감소시키고 파라미터 수를 크게 줄였다.

PDF 보기

Made with Slashpage