More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models
Created by
Haebom
저자
Chengzhi Liu, Zhongxing Xu, Qingyue Wei, Juncheng Wu, James Zou, Xin Eric Wang, Yuyin Zhou, Sheng Liu
개요
본 논문은 다중 모달 대규모 언어 모델의 테스트 시간 계산이 장문 추론 사슬 생성을 가능하게 하여 다중 모달 수학 추론과 같은 작업에서 강력한 성능을 발휘하지만, 추론 길이가 길어짐에 따라 이미지 기반 콘텐츠에서 벗어나 언어적 사전 지식에 더 많이 의존하여 환각 현상이 증가하는 문제를 다룹니다. 이를 위해 모델의 지각 정확도가 추론 길이에 따라 어떻게 변하는지 정량화하는 RH-AUC 지표를 제시하고, 추론 능력과 환각 현상 간의 상충 관계를 평가하기 위한 진단 벤치마크인 RH-Bench를 공개합니다. 분석 결과, 더 큰 모델이 일반적으로 추론과 지각 간의 균형을 더 잘 맞추며, 이러한 균형은 전체 데이터 양보다 훈련 데이터의 유형과 도메인에 더 큰 영향을 받는다는 것을 밝힙니다. 따라서 추론 품질과 지각 충실도를 모두 고려하는 평가 프레임워크의 중요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
다중 모달 모델의 추론 능력 향상과 환각 현상 간의 상충 관계를 체계적으로 분석하는 새로운 지표(RH-AUC)와 벤치마크(RH-Bench)를 제시했습니다.
◦
모델 크기가 추론과 지각 간의 균형에 영향을 미치며, 더 큰 모델이 일반적으로 더 나은 균형을 달성한다는 것을 보여주었습니다.
◦
훈련 데이터의 유형과 도메인이 모델의 추론 및 지각 능력에 대한 전체 데이터 양보다 더 큰 영향을 미친다는 것을 밝혔습니다.
◦
추론 품질과 지각 충실도를 모두 고려하는 평가 프레임워크의 중요성을 강조합니다.
•
한계점:
◦
RH-AUC와 RH-Bench의 일반화 성능에 대한 추가 연구가 필요합니다.
◦
제시된 지표와 벤치마크가 모든 유형의 다중 모달 모델에 적용 가능한지에 대한 추가 검증이 필요합니다.
