본 논문은 대규모 다중 모달 모델(LMMs)이 지식, 추론, 지각 능력을 필요로 하는 복잡한 시각-언어 작업에서는 우수한 성능을 보이지만, 지각 능력만 필요한 간단한 인포그래픽 작업에서는 어려움을 겪는다는 사실을 발견했습니다. 기존 벤치마크는 다양한 능력을 필요로 하는 최종 작업에 주로 초점을 맞추고 있어 모델의 지각 능력의 한계에 대한 세부적인 통찰력을 제공하지 못합니다. 이러한 간극을 해결하기 위해, 본 논문은 인간이 차트와 그래프에 인코딩된 시각 정보를 해독하는 방법을 연구하는 데 사용되는 그래픽 지각 이론을 활용하여 차트에서 LMM의 지각 능력의 한계를 분석하기 위한 평가 프레임워크를 개발했습니다. 자동화된 작업 생성 및 응답 평가 설계를 통해, 본 프레임워크는 다양한 차트 유형, 시각적 요소 및 작업 유형에 걸쳐 LMM의 그래픽 지각을 포괄적이고 제어된 방식으로 테스트할 수 있게 합니다. 본 연구에서는 이 프레임워크를 사용하여 최첨단 LMM(GPT-4o 포함)의 지각 능력을 차트, 시각적 요소, 픽셀의 세 가지 세분화 수준에서 평가하고 진단했습니다.
