Argus Inspection: Do Multimodal Large Language Models Possess the Eye of Panoptes?
작성자
Haebom
저자
Yang Yao, Lingyu Li, Jiaxin Song, Chiyu Chen, Zhenqi He, Yixu Wang, Xin Wang, Tianle Gu, Jie Li, Yan Teng, Yingchun Wang
개요
본 논문은 다중 모달 대규모 언어 모델(MLLM)의 시각적 세부 인식 및 상식적 인과 추론 능력의 한계를 다룹니다. 세부적인 시각적 인식과 실제 세계 상식적 이해를 통합하여 인과 추론 능력을 평가하는 두 가지 난이도의 다중 모달 벤치마크인 Argus Inspection을 제시합니다. 또한, 의견 기반 추론 과제에서 MLLM의 응답을 더욱 포괄적으로 평가할 수 있도록 이진 매개변수 시그모이드 메트릭과 지표 함수를 통합한 Eye of Panoptes 프레임워크를 제시합니다. 26개의 주요 MLLM에 대한 실험 결과, 시각적 세부 인식 추론에서 최고 성능은 0.46에 불과하여 향상의 여지가 큼을 보여줍니다.
시사점, 한계점
•
시사점:
◦
MLLM의 시각적 세부 인식 및 상식적 인과 추론 능력 평가를 위한 새로운 벤치마크(Argus Inspection)와 평가 프레임워크(Eye of Panoptes) 제시.
◦
MLLM의 시각적 세부 인식 능력의 현 수준과 향상의 필요성을 제시.
◦
의견 기반 추론 과제에 대한 더욱 포괄적인 평가 방법 제안.
•
한계점:
◦
Argus Inspection 벤치마크의 난이도 설정 및 일반화 가능성에 대한 추가적인 검토 필요.
◦
Eye of Panoptes 프레임워크의 시그모이드 메트릭 및 지표 함수의 최적화에 대한 추가 연구 필요.
