Evaluating Compositional Scene Understanding in Multimodal Generative Models
Created by
Haebom
저자
Shuhao Fu, Andrew Jun Lee, Anna Wang, Ida Momennejad, Trevor Bihl, Hongjing Lu, Taylor W. Webb
개요
본 논문은 최신 텍스트-이미지 모델(DALL-E 3)과 다중모달 비전-언어 모델(GPT-4V, GPT-4o, Claude Sonnet 3.5, QWEN2-VL-72B, InternVL2.5-38B)의 구성적 시각 처리 능력을 평가하고, 인간 참가자와 비교 분석한 연구입니다. 시각 세계의 구성적 특성을 고려하여, 여러 객체와 관계로 구성된 장면을 생성하고 해석하는 모델의 능력을 평가하였습니다.
시사점, 한계점
•
시사점: 최신 다중모달 모델들이 이전 세대 모델들보다 구성적이고 관계적인 작업 해결 능력이 향상되었음을 보여줍니다.
•
시사점: 복잡한 시각 장면 이해를 위한 구성적 이해 능력 향상의 필요성을 강조합니다.
•
한계점: 현재 모델들의 성능은 인간 수준에 크게 미치지 못하며, 특히 5개 이상의 객체와 다수의 관계가 포함된 복잡한 장면에서는 성능 저하가 두드러집니다.
•
한계점: 모델들이 복잡한 시각 장면의 구성적이고 관계적인 이해에 있어 여전히 개선의 여지가 많음을 시사합니다.
