Attention Bootstrapping for Multi-Modal Test-Time Adaptation
Created by
- Haebom
Category
Empty
저자
Yusheng Zhao, Junyu Luo, Xiao Luo, Jinsheng Huang, Jingyang Yuan, Zhiping Xiao, Ming Zhang
개요
본 논문은 사전 훈련된 모델을 테스트 시점의 분포 변화에 적응시키는 테스트 시간 적응 문제를 다룬다. 특히, 다중 모달리티 설정에서의 테스트 시간 분포 변화에 초점을 맞추어, 새로운 방법인 Attention Bootstrapping with Principal Entropy Minimization (ABPEM)을 제안한다. ABPEM은 모달리티 간 불일치를 야기하는 테스트 시간 분포 변화에 의한 어텐션 갭(attention gap) 문제를 해결하기 위해, 자기 어텐션(self-attention)의 안내에 따라 교차 어텐션(cross-attention)을 강화하는 어텐션 부트스트래핑(attention bootstrapping)과 주요 부분의 엔트로피에 집중하여 기울기 노이즈를 줄이는 주 엔트로피 최소화(principal entropy minimization)를 제안한다. 다양한 실험을 통해 제안된 ABPEM의 효과를 검증한다.
시사점, 한계점
•
시사점:
◦
다중 모달리티 테스트 시간 적응 문제에 대한 새로운 해결책 제시
◦
어텐션 갭 문제를 효과적으로 완화하는 어텐션 부트스트래핑 기법 제안
◦
기울기 노이즈 감소를 위한 주 엔트로피 최소화 기법 제안
◦
다양한 벤치마크 실험을 통한 ABPEM의 효과성 검증
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 유형의 다중 모달리티 데이터에 대한 적용성 검증 필요
◦
다른 테스트 시간 적응 방법과의 비교 분석 심화 필요
