Decomposing Complex Visual Comprehension into Atomic Visual Skills for Vision Language Models
Created by
Haebom
저자
Hyunsik Chae, Seungwoo Yoon, Jaden Park, Chloe Yewon Chun, Yongin Cho, Mu Cai, Yong Jae Lee, Ernest K. Ryu
개요
본 논문은 최신 시각-언어 모델(VLMs)이 복잡한 다중 모드 이해와 추론 능력을 보여주지만, 간단한 시각적 과제에서는 어려움을 겪는다는 점에 주목합니다. 이에 연구진은 2차원 유클리드 기하학 영역에 초점을 맞춰 기본적이고 나눌 수 없는 시각적 지각 기술, 즉 '원자적 시각 기술'을 체계적으로 분류합니다. 그리고 이러한 원자적 시각 기술을 평가하기 위한 원자적 시각 기술 데이터셋(AVSD)을 제시합니다. AVSD를 사용하여 최첨단 VLMs를 벤치마킹한 결과, 성인에게는 간단한 과제임에도 불구하고 VLMs가 어려움을 겪는다는 것을 발견했습니다. 이러한 결과는 복합적인 시각적 지각 과제가 아닌 원자적 수준의 과제에 VLMs를 훈련하고 평가하기 위한 목적 기반 데이터셋의 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
원자적 시각 기술에 대한 체계적인 분류 및 평가를 위한 데이터셋(AVSD) 제시
◦
최첨단 VLMs의 원자적 시각 지각 능력에 대한 한계를 밝힘
◦
VLMs의 훈련 및 평가를 위한 목적 기반 데이터셋 개발의 중요성 강조
•
한계점:
◦
현재 AVSD는 2차원 유클리드 기하학에 국한됨. 다른 시각적 영역으로의 확장 필요
◦
본 연구에서 제시된 원자적 시각 기술의 분류가 완벽하지 않을 수 있음. 더욱 세분화된 분류 또는 다른 분류 체계에 대한 추가 연구 필요
