본 논문은 동적 손 제스처 인식을 위해 3D CNN을 훈련하는 과정에서 여러 모달리티의 지식을 활용하는 효율적인 접근 방식을 제시합니다. 기존의 여러 모달리티 정보를 명시적으로 결합하는 대신, 각 단일 모달리티 네트워크가 향상된 성능을 달성할 수 있도록 개별 네트워크에 여러 모달리티의 지식을 임베딩하는 프레임워크를 제안합니다. 특히, 각 모달리티에 대해 별도의 네트워크를 할당하고, 공통의 의미론과 더 나은 표현을 가진 네트워크를 개발하기 위해 협업하고 학습하도록 합니다. 이를 위해 "시공간 의미론 정렬" 손실(SSA)을 도입하여 서로 다른 네트워크의 특징 내용 간 정렬을 수행하고, "초점 정규화 매개변수"를 통해 이 손실을 정규화하여 부정적인 지식 전달을 방지합니다. 실험 결과는 제안하는 프레임워크가 단일 모달리티 네트워크의 테스트 시간 인식 정확도를 향상시키고, 다양한 동적 손 제스처 인식 데이터셋에서 최첨단 성능을 제공함을 보여줍니다.
