본 논문은 비전-언어 모델(VLMs)의 색상 이해 능력을 평가하기 위한 새로운 벤치마크인 ColorBench를 제시합니다. ColorBench는 색상 인지, 추론, 강건성을 포함한 다양한 시나리오를 통해 VLMs의 색상 이해 능력을 평가합니다. 32개의 VLMs에 대한 광범위한 평가를 통해, (i) 모델 크기가 클수록 성능이 좋다는 법칙이 ColorBench에서도 유지되지만, 비전 인코더보다 언어 모델이 더 중요한 역할을 한다는 점, (ii) 모델 간 성능 차이가 상대적으로 작아 기존 VLMs에서 색상 이해가 상당히 간과되어 왔다는 점, (iii) CoT 추론이 시각 중심 작업임에도 불구하고 색상 이해 정확도와 강건성을 향상시킨다는 점, (iv) VLMs가 ColorBench에서 색상 단서를 활용하지만 일부 작업에서는 오해를 불러일으킬 수 있다는 점을 밝혔습니다. 이러한 결과는 현재 VLMs의 중요한 한계를 강조하고, 인간 수준의 색상 이해를 가진 다중 모달 AI를 발전시키기 위한 ColorBench의 필요성을 보여줍니다.
