VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning
Created by
Haebom
Category
Empty
저자
Nilay Yilmaz, Maitreya Patel, Yiran Lawrence Luo, Tejas Gokhale, Chitta Baral, Suren Jayasuriya, Yezhou Yang
개요
본 논문은 다중 모드 대규모 언어 모델(MLLM)의 추상적 추론 능력을 평가하기 위한 새로운 벤치마크인 VOILA를 제시합니다. VOILA는 두 쌍의 이미지 간의 유추 관계를 완성하는 이미지를 생성하는 과제를 통해 MLLM의 지각적 이해와 추상적 관계 추론 능력을 평가합니다. 실험 결과, MLLM은 이미지 간의 관계를 이해하고 고차원 관계 추론을 수행하는 데 어려움을 겪는다는 것을 보여줍니다. 단계적 프롬프팅 전략을 사용하면 성능이 향상되지만, 오픈소스 모델과 GPT-4o를 포함한 여러 모델의 성능은 인간 수준에 크게 못 미치는 것으로 나타났습니다. (어려운 과제의 경우 최고 정확도는 13%, 쉬운 과제의 경우 29%에 불과하며, 인간의 정확도는 70%입니다.)
시사점, 한계점
•
시사점: MLLM의 추상적 추론 능력의 한계를 명확히 보여주는 새로운 벤치마크 VOILA를 제시. 단계적 프롬프팅 전략의 효용성을 확인. MLLM의 지각적 이해 및 관계 추론 능력 향상에 대한 연구 방향 제시.
•
한계점: 현재 MLLM의 추상적 추론 능력이 아직 부족하다는 것을 보여주지만, VOILA 벤치마크 자체의 한계점이나 개선 방향에 대한 논의는 부족. 다양한 유형의 MLLM에 대한 포괄적인 평가가 필요. 인간의 추론 과정과 MLLM의 추론 과정의 차이에 대한 심층적인 분석이 필요.
