Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TopoPerception: A Shortcut-Free Evaluation of Global Visual Perception in Large Vision-Language Models

Created by
  • Haebom
Category
Empty

저자

Wenhao Zhou, Hao Zheng, Rong Zhao

TopoPerception:

개요

대규모 시각-언어 모델(LVLM)은 시각 인코더의 시각적 특징을 사전 훈련된 대규모 언어 모델(LLM)에 정렬하지만, 이는 시각 인식 모듈을 병목 현상으로 만들어 LVLM의 전반적인 능력을 제한한다. TopoPerception은 다양한 세분성에서 LVLM의 글로벌 시각 인식 능력을 엄격하게 평가하기 위해 위상학적 속성을 활용하는 벤치마크이다. 이는 국소적 특징에 불변하고 이미지의 전체 구조에 의존하는 위상학을 기반으로, 지름길 없는 글로벌 인식 평가를 가능하게 한다. 최첨단 모델들을 TopoPerception에서 평가한 결과, 가장 거친 인식 세분성에서도 모든 모델이 무작위 확률과 유사한 성능을 보이며 글로벌 시각적 특징을 인식하는 데 심각한 어려움을 보였다. 더 강력한 추론 능력을 가진 모델이 더 낮은 정확도를 보이는 일관된 경향이 나타났으며, 이는 모델 확장만으로는 이 문제를 해결하기 어렵고 오히려 악화시킬 수 있음을 시사한다. 새로운 훈련 패러다임이나 아키텍처가 필요할 수 있다.

시사점, 한계점

LVLM의 글로벌 시각 인식 능력에 대한 중요한 병목 현상을 노출한다.
모델의 글로벌 시각 인식 능력 개선을 위한 방향성을 제시한다.
더 강력한 모델이 더 낮은 정확도를 보이는 역설적인 현상 발견.
모델의 단순한 크기 확대가 문제 해결에 충분하지 않음을 시사.
새로운 훈련 방식 또는 아키텍처가 필요할 수 있음.
현재 모델들이 글로벌 시각적 특징을 인식하는 데 어려움을 겪고 있음을 보여줌.
👍