Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MTA: Multimodal Task Alignment for BEV Perception and Captioning

Created by
  • Haebom

저자

Yunsheng Ma, Burhaneddin Yaman, Xin Ye, Jingru Luo, Feng Tao, Abhirup Mallik, Ziran Wang, Liu Ren

개요

본 논문은 자율주행에서 중요한 역할을 하는 조감도(BEV) 기반 3D 인지와 객체 행동 이해를 위한 BEV 기반 캡션 생성을 다룹니다. 기존 연구들이 두 작업을 분리하여 처리하는 한계를 극복하고자, 모달 간 정렬을 강화하는 새로운 다중 모달 작업 정렬 프레임워크 MTA를 제안합니다. MTA는 BEV 장면 표현과 언어 표현을 정렬하는 BEV-언어 정렬(BLA)과 탐지 및 캡션 생성 결과를 정렬하는 탐지-캡션 정렬(DCA) 두 가지 구성 요소로 이루어져 있습니다. 실험 결과, nuScenes 및 TOD3Cap 데이터셋에서 기존 최고 성능 모델보다 BEV 인지 및 캡션 생성 작업 모두에서 성능 향상을 보였으며, 특히 희귀한 인지 시나리오에서 10.7%, 캡션 생성에서 9.2% 향상을 달성했습니다.

시사점, 한계점

•
시사점:
◦
BEV 기반 인지와 캡션 생성 작업을 통합적으로 처리하는 효과적인 방법 제시.
◦
다중 모달 정렬을 통해 두 작업의 성능을 동시에 향상시킬 수 있음을 증명.
◦
희귀한 객체 인지 성능 향상에 크게 기여.
◦
추론 단계에서 추가적인 계산 복잡도 없이 성능 향상을 달성.
•
한계점:
◦
제안된 MTA 프레임워크의 일반화 성능에 대한 추가적인 검증 필요.
◦
다양한 데이터셋 및 자율주행 시나리오에 대한 로버스트성 평가 필요.
◦
BLA와 DCA 모듈의 상호작용 및 각 모듈의 기여도에 대한 심층적인 분석 필요.
👍
Made with SlashPage