Rebalanced Multimodal Learning with Data-aware Unimodal Sampling
Created by
- Haebom
Category
Empty
저자
Qingyuan Jiang, Zhouyang Chi, Xiao Ma, Qirong Mao, Yang Yang, Jinhui Tang
개요
본 논문은 모달 불균형으로 인한 모달 학습 퇴화 문제를 해결하기 위해, 기존의 다중 모달 학습(MML) 접근 방식들이 주로 모델 학습 관점에서 각 모달의 최적화 과정을 균형 있게 조정하는 것에 집중하는 반면, 단일 모달 데이터 샘플링으로 인한 모달 불균형을 간과하는 점을 지적합니다. 따라서, 본 논문에서는 샘플링으로 인한 모달 불균형을 동적으로 완화하는 새로운 MML 접근 방식인 데이터 인식 단일 모달 샘플링(Data-aware Unimodal Sampling, DUST)을 제안합니다. DUST는 모달 학습 과정을 모니터링하기 위한 누적 모달 불일치를 제안하고, 학습 상태를 기반으로 휴리스틱 및 강화 학습(RL) 기반 데이터 인식 단일 모달 샘플링 방식을 통해 각 반복에서 샘플링되는 데이터의 양을 적응적으로 결정하여 샘플링 관점에서 모달 불균형을 완화합니다. 또한, 제안된 방법은 플러그인 방식으로 기존의 대부분의 다중 모달 학습 접근 방식에 통합될 수 있습니다. 실험 결과, DUST는 다양한 최첨단(SOTA) 기준 모델들과 비교하여 최고 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
단일 모달 데이터 샘플링으로 인한 모달 불균형 문제를 명확히 제시하고, 이를 해결하기 위한 새로운 접근 방식을 제안합니다.
◦
누적 모달 불일치를 이용한 모달 학습 과정 모니터링 및 적응적 샘플링 전략을 통해 모달 불균형을 효과적으로 완화합니다.
◦
기존 MML 접근 방식에 플러그인 방식으로 쉽게 통합될 수 있는 모듈성을 제공합니다.
◦
다양한 SOTA 기준 모델들과의 비교 실험을 통해 성능 우수성을 검증합니다.
•
한계점:
◦
제안된 누적 모달 불일치 및 샘플링 전략의 일반화 가능성에 대한 추가적인 연구가 필요할 수 있습니다.
◦
휴리스틱 및 RL 기반 샘플링 방식의 매개변수 조정에 대한 추가적인 분석이 필요할 수 있습니다.
◦
특정 유형의 다중 모달 데이터에 대해서만 성능이 우수할 가능성이 존재하며, 다양한 데이터셋에 대한 추가적인 실험이 필요합니다.
