본 논문은 시각-언어 작업을 수행하는 다중 모드 대규모 언어 모델(MLLM)의 정직성을 체계적으로 평가하는 연구를 제시한다. 시각적으로 답할 수 없는 질문에 대한 모델의 응답 행동을 기반으로 정직성을 정의하고, 4가지 대표적인 유형의 질문을 정의한다. MoHoBench라는 대규모 MLLM 정직성 벤치마크를 구축하여 28개의 인기 있는 MLLM의 정직성을 평가하고 종합적인 분석을 수행했다. 연구 결과는 대부분의 모델이 필요한 경우 적절하게 답변을 거부하지 못하며, MLLM의 정직성은 언어 모델링 문제뿐만 아니라 시각 정보의 영향을 크게 받는다는 것을 보여준다. 따라서 정직성 향상을 위해 감독 학습과 선호도 학습을 사용한 초기 정렬 방법을 구현하고, 신뢰할 수 있는 MLLM 연구의 기반을 마련했다.
