Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu
개요
본 논문은 다중 모달 대규모 언어 모델(MLLM)에서 모달 편향의 문제를 다룬다. MLLM은 텍스트와 이미지와 같은 다양한 모달리티를 통합하지만, 언어 모달리티에 과도하게 의존하고 다른 모달리티(예: 시각 정보)를 충분히 활용하지 못하는 모달 편향의 영향을 크게 받는다는 주장을 제기한다. 논문에서는 모달 편향의 현재 상태를 진단하고, 다양한 작업에서 나타나는 모달 편향의 징후를 강조한다. 또한, MLLM에서 모달 편향과 관련된 체계적인 연구 로드맵을 제안하고, 모달 편향의 주요 요인을 파악하여 이를 완화하기 위한 실질적인 연구 방향을 제시한다. 데이터 특성, 불균형적인 백본 기능, 훈련 목표 등 세 가지 요인의 영향을 실험을 통해 증명하고, 균형 잡힌 훈련 전략과 모델 아키텍처의 필요성을 강조한다. 결론적으로, 더욱 강력하고 일반화 가능한 다중 모달 시스템을 개발하고 인공 일반 지능(AGI)으로 나아가기 위해서는 학제 간 노력이 필요함을 주장한다.
시사점, 한계점
•
시사점:
◦
MLLM의 모달 편향 문제를 체계적으로 분석하고 해결 방안을 제시하였다.
◦
데이터 특성, 백본 기능, 훈련 목표 등 모달 편향의 주요 원인을 규명하였다.
◦
균형 잡힌 훈련 전략 및 모델 아키텍처 개발의 필요성을 강조하였다.
◦
학제 간 협력을 통해 MLLM 연구의 혁신을 촉진할 수 있는 방향을 제시하였다.
◦
더욱 강력하고 일반화 가능한 다중 모달 시스템 개발에 기여할 수 있다.
•
한계점:
◦
제시된 연구 로드맵의 구체적인 실행 방안이 부족할 수 있다.
◦
실험 결과의 일반화 가능성에 대한 추가적인 검증이 필요할 수 있다.
◦
모달 편향 완화를 위한 구체적인 기술적 해결책 제시보다는 연구 방향 제시에 집중되어 있다.
