Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Progressive Language-guided Visual Learning for Multi-Task Visual Grounding

Created by
  • Haebom

저자

Jingchao Wang, Hong Wang, Wenlong Zhang, Kunhua Ji, Dingjiang Huang, Yefeng Zheng

개요

본 논문은 다중 작업 시각적 접지(MTVG)의 두 하위 작업인 언급 표현 이해(REC)와 언급 표현 분할(RES)에 초점을 맞춥니다. 기존의 대표적인 접근 방식은 시각 및 언어 모드에 대한 독립적인 특징 추출, 교차 모드 상호 작용 모듈, 그리고 서로 다른 하위 작업에 대한 독립적인 예측 헤드를 포함하는 세 가지 핵심 절차로 구성된 연구 파이프라인을 따릅니다. 하지만 이러한 접근 방식은 언어 콘텐츠가 효과적인 시각적 특징 추출을 위해 전체 시각 백본에 완전히 주입되지 않고 추가적인 교차 모드 상호 작용 모듈이 필요하며, REC와 RES 작업 간의 관계가 정확한 출력을 위한 협업 예측에 효과적으로 활용되지 않는다는 한계점을 가지고 있습니다. 이를 해결하기 위해 본 논문에서는 언어 정보를 점진적으로 주입하여 언어 관련 시각적 특징을 학습하는 진보적 언어 유도 시각 학습 프레임워크인 PLVL을 제안합니다. PLVL은 추가적인 교차 모드 융합 모듈 없이 언어 안내를 완전히 도입합니다. 또한, REC의 위치 중심이 RES를 위한 분할 대상 객체 영역을 식별하는 데 도움이 된다는 점에 착안하여 두 하위 작업에 대한 협업 예측을 수행하는 다중 작업 헤드를 설계했습니다. 여러 벤치마크 데이터 세트에서 수행된 광범위한 실험은 PLVL이 REC와 RES 작업 모두에서 대표적인 방법보다 뛰어난 성능을 보임을 입증합니다.

시사점, 한계점

시사점:
추가적인 교차 모드 융합 모듈 없이 언어 정보를 효과적으로 활용하는 새로운 MTVG 프레임워크(PLVL) 제시.
REC와 RES 작업 간의 상호 관계를 활용하여 협업 예측을 개선.
REC 및 RES 작업 모두에서 기존 방법보다 우수한 성능을 달성.
한계점:
PLVL의 성능 향상이 특정 데이터셋에 국한될 가능성.
다른 다중 작업 시각적 접지 방법과의 비교 분석이 더욱 심도 있게 이루어질 필요.
PLVL의 확장성 및 일반화 능력에 대한 추가적인 연구 필요.
👍