본 논문은 대규모 언어 모델(LLM)의 사고 연쇄 추론을 시각 중심 작업에 적용하는 한계를 극복하기 위해 픽셀 공간에서의 추론 개념을 제시합니다. 비전-언어 모델(VLM)에 확대, 프레임 선택 등의 시각적 추론 연산을 추가하여 시각적 증거를 직접 조사하고 추론함으로써 시각적 작업에 대한 추론 정확도를 향상시킵니다. 모델의 불균형적인 능력과 새로운 픽셀 공간 연산 채택의 어려움을 해결하기 위해, 합성 추론 추적에 대한 지시 조정과 호기심 기반 보상 체계를 활용한 강화 학습(RL)을 두 단계로 진행하는 훈련 방식을 제안합니다. 제안된 방법은 다양한 시각적 추론 벤치마크에서 VLM 성능을 크게 향상시키며, 특히 7B 모델인 \model은 V* 벤치마크에서 84%, TallyQA-Complex에서 74%, InfographicsVQA에서 84%의 정확도를 달성하여 기존 오픈소스 모델 중 최고 성능을 기록했습니다.
