NegVQA는 다양한 부정 시나리오와 이미지-질문 분포를 포함하는 7,379개의 2지 선다형 질문으로 구성된 시각적 질문 응답(VQA) 벤치마크입니다. 기존 VQA 데이터셋의 질문을 활용하여 대규모 언어 모델을 통해 부정문을 생성하여 구성되었습니다. 7가지 모델 계열의 최첨단 VLM 20개를 평가한 결과, 이러한 모델들은 부정에 상당히 어려움을 겪으며 원래 질문에 대한 응답과 비교하여 성능이 크게 저하되는 것으로 나타났습니다. 또한, 모델 크기가 증가함에 따라 처음에는 NegVQA의 성능이 저하되다가 개선되는 U자형 스케일링 추세를 발견했습니다. 이 벤치마크는 VLM의 부정 이해에 대한 중요한 차이점을 보여주고 미래 VLM 개발에 대한 통찰력을 제공합니다.