본 논문은 비전-언어 모델(VLMs)의 색상 이해 능력을 평가하기 위한 새로운 벤치마크인 ColorBench를 제안합니다. ColorBench는 색상 인지, 추론, 강건성을 포함한 다양한 시나리오를 통해 VLMs가 색상을 어떻게 인지하고, 색상 기반 단서로부터 의미를 추론하며, 다양한 색상 변환 하에서 일관된 성능을 유지하는지 평가합니다. 32개의 VLMs에 대한 광범위한 평가를 통해, (i) 모델 크기가 클수록 성능이 좋지만(스케일링 법칙), 언어 모델이 비전 인코더보다 더 중요한 역할을 하고, (ii) 모델 간 성능 차이가 상대적으로 작아 기존 VLMs에서 색상 이해가 크게 간과되었음을, (iii) CoT 추론이 색상 이해 정확도와 강건성을 향상시키지만, 시각 중심 작업임을, (iv) VLMs가 ColorBench에서 색상 단서를 활용하지만 일부 작업에서는 오류를 유발할 수 있음을 밝혔습니다. 이러한 결과는 현재 VLMs의 중요한 한계를 강조하고 색상 이해 향상의 필요성을 보여줍니다. ColorBench는 다중 모달 AI의 인간 수준 색상 이해 연구를 발전시키는 기초 도구로 활용될 수 있습니다.
