본 논문은 다중 모달 모델의 결합 학습 시 발생하는 모달 지연 및 모달 충돌 문제를 해결하기 위해 다중 모달 데이터 리믹싱(Data Remixing) 기법을 제안합니다. 기존 방법들이 단일 모달 학습의 강화 또는 모달 간 최적화 속도 조정에 집중하는 것과 달리, 본 논문은 단일 모달의 충분한 학습과 다중 모달 간의 균형을 동시에 달성하는 데 초점을 맞춥니다. 이는 모달 간 데이터를 분리하고 각 모달의 어려운 샘플을 필터링하여 모달 불균형을 완화하고, 배치 단위 재조합을 통해 기울기 방향을 정렬하고 모달 간 간섭을 피함으로써 달성됩니다. 실험 결과, 제안된 방법은 기존 방법들과 손쉽게 통합될 수 있으며, CREMAD 데이터셋에서는 약 6.50%, Kinetic-Sounds 데이터셋에서는 약 3.41%의 정확도 향상을 보였습니다. 추가적인 계산 비용이나 훈련 데이터 확장 없이 성능 향상을 이루었습니다.
