More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models
Created by
Haebom
저자
Chengzhi Liu, Zhongxing Xu, Qingyue Wei, Juncheng Wu, James Zou, Xin Eric Wang, Yuyin Zhou, Sheng Liu
개요
본 논문은 다중 모달 대규모 언어 모델의 테스트 시간 연산이 확장된 추론 체인 생성을 가능하게 하여 다중 모달 수학 추론과 같은 작업에서 강력한 성능을 발휘하지만, 추론 체인이 길어짐에 따라 이미지 기반 콘텐츠에서 벗어나 언어적 사전 지식에 더 많이 의존하는 환각 현상이 증가하는 문제점을 다룹니다. 이를 체계적으로 연구하기 위해 모델의 지각 정확도가 추론 길이에 따라 어떻게 변화하는지를 정량화하는 RH-AUC 지표를 제시하고, 추론 능력과 환각 현상 간의 상충 관계를 평가하도록 설계된 진단 벤치마크인 RH-Bench를 공개합니다. 분석 결과, 더 큰 모델이 일반적으로 추론과 지각 간의 균형을 더 잘 달성하며, 이러한 균형은 전체 데이터 양보다 훈련 데이터의 유형과 도메인에 더 큰 영향을 받는다는 것을 밝혔습니다. 결론적으로 추론 품질과 지각 충실도를 모두 고려하는 평가 프레임워크의 중요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
다중 모달 모델의 추론 능력 향상과 환각 현상 간의 상충 관계를 정량적으로 분석하는 새로운 지표(RH-AUC)와 벤치마크(RH-Bench) 제시.
◦
모델 크기보다 훈련 데이터의 유형 및 도메인이 추론과 지각의 균형에 더 큰 영향을 미침을 밝힘.
