본 논문은 대규모 비전 언어 모델(LVLMs)의 시각적 변이(위치, 크기, 방향, 맥락)에 대한 강건성을 평가하기 위한 종합적인 벤치마크 프레임워크인 V$^2$R-Bench를 제시합니다. V$^2$R-Bench는 자동화된 평가 데이터셋 생성 및 원칙에 기반한 지표를 포함하여 철저한 강건성 평가를 가능하게 합니다. 21개의 LVLMs에 대한 광범위한 평가를 통해, 복잡한 비전-언어 작업에서 뛰어난 성능을 보이는 고급 모델조차도 객체 인식과 같은 간단한 작업에서 상당히 저조한 성능을 보이는 시각적 변이에 대한 놀라운 취약성을 밝혀냅니다. 흥미롭게도 이러한 모델들은 효과적인 수용 영역 이론과 모순되는 독특한 시각적 위치 편향을 보이며, 인간과 유사한 시각적 시력 한계를 보여줍니다. 이러한 취약성의 원인을 파악하기 위해, 정렬된 시각적 특징에 대한 새로운 시각화 방법을 특징으로 하는 구성 요소 수준 분석을 위한 체계적인 프레임워크를 제시합니다. 결과는 이러한 취약성이 파이프라인 아키텍처에서의 오류 누적 및 부적절한 다중 모드 정렬에서 비롯됨을 보여줍니다. 합성 데이터를 사용한 보완 실험은 이러한 한계가 근본적으로 아키텍처상의 결함임을 추가적으로 보여주며, 향후 LVLM 설계에서 아키텍처 혁신의 필요성을 강조합니다.
