본 논문은 다중 모달리티 정렬을 역문제로 공식화하여, 특정 조건 하에서 각 모달리티의 쌍 데이터가 동등한 잠재 벡터(완벽 정렬)에 매핑될 수 있음을 보입니다. 완벽한 정렬이 불가능한 경우, 다중 모달리티 데이터 행렬의 특이값 분해(SVD)를 사용하여 근사할 수 있습니다. 합성 다중 모달리티 가우시안 데이터에 대한 실험을 통해 제안하는 완벽 정렬 방법의 효과성을 검증하고, 인간 행동 인식에 대한 실제 적용을 통해 완벽 정렬이 모델 정확도를 크게 향상시키는 것을 보여줍니다. 다양한 모달리티 및 작업에 대한 적용 가능성과 방법의 한계점에 대해 논의하며, 완벽 정렬 및 표현 학습에서의 응용에 대한 추가 연구를 촉구합니다.
