본 논문은 최근 발전에도 불구하고 시각적 계산이나 관계 추론과 같은 특정 시각적 과제에서 인간의 능력에 미치지 못하는 Vision-Language Models (VLMs)의 한계를 인지과학적 방법론을 통해 분석합니다. 지각, 주의, 기억이라는 핵심 인지 축을 따라 VLM의 성능을 평가하는 일련의 과제를 사용하여 GPT-4o를 포함한 최첨단 VLMs을 평가했습니다. 분석 결과, 고급 모델은 일부 과제(예: 범주 식별)에서는 최고 성능에 근접하지만, 특히 공간적 이해나 선택적 주의가 필요한 과제에서는 상당한 격차가 지속됨을 보여줍니다. 이러한 실패의 원인과 개선 방법을 조사하기 위해 시각-텍스트 분리 분석을 사용하여 직접적인 시각적 추론에 어려움을 겪는 모델은 자체적으로 생성한 텍스트 캡션을 기반으로 추론할 때 성능이 크게 향상됨을 발견했습니다. 실험을 통해 인간의 성능을 꾸준히 능가하는 모델에서도 향상된 VLM Chain-of-Thought (CoT) 능력에 대한 강력한 필요성을 보여줍니다. 또한 복합 시각 추론 과제에 대한 대상별 미세 조정의 잠재력을 입증하고, 소규모 VLMs의 미세 조정이 핵심 인지 능력을 상당히 향상시킴을 보여줍니다. 이러한 개선이 어려운 분포 외 벤치마크에서의 큰 향상으로 이어지지는 않지만, 우리의 데이터 세트에서 VLM 성능이 다른 벤치마크의 성능과 강하게 상관됨을 보여줍니다. 본 연구는 VLM의 인지적 강점과 약점에 대한 자세한 분석을 제공하고 동시 지각 및 추론의 주요 병목 현상을 파악하는 동시에 효과적이고 간단한 해결책을 제시합니다.
