Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Zero-Shot Referring Expression Comprehension via Vison-Language True/False Verification

Created by
  • Haebom
Category
Empty

저자

Jeffrey Liu, Rongbin Hu

개요

본 논문은 Referring Expression Comprehension (REC) 문제를 해결하기 위해, 특정 REC 훈련 없이도 경쟁력 있는 또는 우수한 성능을 달성할 수 있는 제로샷 워크플로우를 제시한다. 제안하는 방법은 REC를 box-wise visual-language verification으로 재구성하여, COCO-clean generic detector (YOLO-World)에서 얻은 proposals를 활용, 일반적인 VLM이 각 영역에 대해 True/False 질의에 독립적으로 응답하도록 한다. 이 간단한 절차는 상호 간섭을 줄이고, Abstention 및 multiple match를 지원하며, fine-tuning을 필요로 하지 않는다. RefCOCO, RefCOCO+, RefCOCOg에서 제로샷 GroundingDINO baseline을 능가할 뿐 아니라, REC에 대해 훈련된 GroundingDINO과 GroundingDINO+CRG의 보고된 결과도 초과한다. 동일한 proposals를 사용한 제어 연구는 verification이 selection-based prompting보다 우수함을 확인하며, open VLM에서도 동일한 결과가 나타난다. 전반적으로, 본 논문은 task-specific pretraining이 아닌 워크플로우 디자인이 강력한 제로샷 REC 성능을 이끌어냄을 보여준다.

시사점, 한계점

시사점:
REC 문제를 해결하기 위한 제로샷 접근 방식의 성공적인 예시 제시.
task-specific pretraining 없이도 경쟁력 있는 성능을 달성할 수 있음을 입증.
워크플로우 디자인의 중요성을 강조.
cross-box 간섭 감소, Abstention 및 multiple match 지원.
다양한 모델 및 데이터셋에 대한 일반적인 적용 가능성.
한계점:
사용된 generic detector (YOLO-World)의 성능에 의존적일 수 있음.
VLM의 성능에 따라 결과가 달라질 수 있음.
실제 환경에서의 일반화 성능에 대한 추가 연구 필요.
복잡한 표현에 대한 처리 능력 제한 가능성.
👍