Robust Multimodal Learning via Cross-Modal Proxy Tokens
Created by
- Haebom
Category
Empty
저자
Md Kaykobad Reza, Ameya Patil, Mashhour Solh, M. Salman Asif
개요
다중 모달 모델은 추론 과정에서 하나 이상의 모달리티가 누락될 경우 성능이 저하되는 경향이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 모든 모달리티가 사용 가능할 때 강력한 성능을 유지하면서 누락된 모달리티에 대한 견고성을 향상시키는 간단하지만 효과적인 접근 방식을 제안한다. 제안하는 방법은 Cross-Modal Proxy Tokens (CMPTs)를 도입하여, 명시적인 모달리티 생성이나 보조 네트워크 없이 사용 가능한 모달리티의 토큰에만 주의를 기울여 누락된 모달리티의 클래스 토큰을 근사한다. 계산 오버헤드를 최소화하면서 이러한 근사를 효율적으로 학습하기 위해, 고정된 단일 모달 인코더에 Low-Rank Adapter를 사용하고, task-specific loss와 함께 정렬 손실을 공동으로 최적화한다. 5개의 다중 모달 데이터 세트에 대한 광범위한 실험을 통해, 제안하는 방법이 다양한 누락률에서 최첨단 baseline보다 우수한 성능을 보이며, 완전한 모달리티 설정에서도 경쟁력 있는 결과를 달성함을 보여준다.
시사점, 한계점
•
시사점:
◦
누락된 모달리티에 대한 견고성을 향상시키는 효과적인 방법 제시.
◦
명시적인 모달리티 생성이나 추가 네트워크 없이 성능 향상.
◦
계산 효율성을 위해 Low-Rank Adapter 활용.
◦
다양한 데이터셋에서 SOTA 달성.
•
한계점:
◦
구체적인 한계점은 논문 내용에 직접적으로 언급되지 않음. (논문의 요약본이므로)
