More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models
Created by
Haebom
저자
Chengzhi Liu, Zhongxing Xu, Qingyue Wei, Juncheng Wu, James Zou, Xin Eric Wang, Yuyin Zhou, Sheng Liu
개요
본 논문은 다중 모드 거대 언어 모델의 테스트 시간 연산이 장문의 추론 체인 생성을 가능하게 하여 다중 모드 수학 추론과 같은 작업에서 강력한 성능을 발휘하지만, 추론 길이가 길어짐에 따라 이미지 기반 콘텐츠에서 벗어나 언어적 사전 지식에 더 많이 의존하는 환각 현상이 증가하는 문제를 다룹니다. 이를 위해 모델의 인지 정확도가 추론 길이에 따라 어떻게 변하는지를 정량화하는 RH-AUC 지표와 다양한 다중 모드 작업을 포함하는 진단 벤치마크인 RH-Bench를 제시하여 추론 능력과 환각 현상 간의 균형을 평가합니다. 분석 결과, 더 큰 모델이 일반적으로 추론과 인지 간의 균형을 더 잘 맞추며, 이 균형은 전체 데이터 양보다 훈련 데이터의 유형과 도메인의 영향을 더 많이 받는다는 것을 밝힙니다. 따라서 추론 품질과 지각 충실도를 모두 고려하는 평가 프레임워크의 중요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
다중 모달 거대 언어 모델의 추론 능력 향상과 환각 현상 증가 간의 상관관계를 규명하고, 이를 정량적으로 평가하는 새로운 지표와 벤치마크를 제시했습니다.
◦
모델 크기와 훈련 데이터의 유형 및 도메인이 추론 능력과 환각 현상 간의 균형에 미치는 영향을 분석했습니다.
