I2MoE(Interpretable Multimodal Interaction-aware Mixture of Experts)는 다양한 데이터 소스의 정보 통합을 가능하게 하는 다중 모달 학습의 핵심인 모달 융합을 향상시키기 위해 설계된 end-to-end MoE 프레임워크입니다. 기존의 융합 방법들이 모달 간의 이질적인 상호 작용을 고려하지 못하고, 데이터에 내재된 다중 모달 상호 작용을 밝히는 데 해석력이 부족하다는 한계를 극복하기 위해, 다양한 다중 모달 상호 작용을 명시적으로 모델링하고 지역적 및 전역적 수준에서 해석을 제공합니다. 약하게 감독된 상호 작용 손실을 사용하는 다양한 상호 작용 전문가를 활용하여 데이터 기반 방식으로 다중 모달 상호 작용을 학습하고, 각 상호 작용 전문가의 출력에 중요도 점수를 할당하는 재가중 모델을 배포하여 샘플 수준 및 데이터셋 수준의 해석을 제공합니다. 의료 및 일반 다중 모달 데이터셋에 대한 광범위한 평가를 통해 I2MoE가 다양한 융합 기술과 결합될 수 있을 만큼 유연하며, 작업 성능을 지속적으로 향상시키고 다양한 실제 시나리오에서 해석을 제공함을 보여줍니다.
