본 논문은 시각 언어 모델(VLM)의 추론 과정에서 발생하는 오류 중, 올바른 답을 제시하지만 잘못된 추론 경로를 따르는 '거짓 양성(FP)' 추론 문제를 해결하기 위한 일반적인 프레임워크인 ViFP를 제안합니다. ViFP는 데이터셋 의존성과 일반화 성능 저하 문제를 해결하기 위해 객체 위치 확인, 특징 설명, 객체 발견과 같은 시각적 추론의 핵심 요소를 기반으로 하위 질문 템플릿을 구성하고, 다중 턴 질의응답을 통해 효과적인 추론 경로를 구축합니다. 또한, 추론 경로의 일관성을 동적으로 분석하여 잠재적인 FP를 식별하고, FP와 비-FP 샘플 모두에 적응적으로 적용되는 목표 지향적 사고 연쇄(CoT) 메커니즘을 도입하여 추론 경로의 논리적 오류를 줄이는 동시에 정확도를 유지합니다. 마지막으로, 답변 정확도와 FP 비율을 통합한 신뢰성 평가 지표 VoC를 제시하여 VLM이 정확하게 답변할 뿐만 아니라 신뢰할 수 있게 추론하는지 정량적으로 평가할 수 있는 도구를 제공합니다. A-OKVQA, OKVQA, FVQA 세 가지 데이터셋에서 실험을 통해 ViFP가 성능을 지속적으로 향상시키는 것을 보여주며, 특히 A-OKVQA에서는 정확도를 최대 5.4% 향상시켜 기존 최고 성능보다 4.3% 앞섰습니다.
