Large Language Model Guided Progressive Feature Alignment for Multimodal UAV Object Detection
Created by
- Haebom
Category
Empty
저자
Wentao Wu, Chenglong Li, Xiao Wang, Bin Luo, Qi Liu
개요
본 논문은 다중 모달 UAV 객체 탐지에서 모달 간 의미론적 차이로 인한 정확한 의미 및 공간 정렬의 어려움을 해결하기 위해 LLM(Large Language Model) 기반의 Progressive feature Alignment Network인 LPANet을 제안합니다. LPANet은 ChatGPT를 이용하여 객체 카테고리에 대한 세분화된 텍스트 설명을 생성하고 MPNet을 사용하여 의미론적 특징을 추출합니다. 이러한 의미론적 특징을 바탕으로, Semantic Alignment Module(SAM), Explicit Spatial alignment Module(ESM), Implicit Spatial alignment Module(ISM)을 통해 점진적으로 의미 및 공간 정렬을 수행합니다. SAM은 모달 간 객체의 의미론적 차이를 완화하고, ESM은 특징 수준 오프셋 추정에 의미 관계를 통합하여 공간 불일치를 해결하며, ISM은 상호 모달 상관관계를 활용하여 인접 영역의 주요 특징을 집계하여 암시적 공간 정렬을 달성합니다. 두 개의 공개 다중 모달 UAV 객체 탐지 데이터셋에 대한 실험 결과, 제안된 방법이 최첨단 기술보다 우수한 성능을 보임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 다중 모달 UAV 객체 탐지에서 모달 간 의미론적 차이 문제를 효과적으로 해결하는 새로운 방법 제시.
◦
점진적 의미 및 공간 정렬을 통한 정확도 향상.
◦
SAM, ESM, ISM 모듈의 효과적인 설계 및 통합.
◦
최첨단 성능 달성.
•
한계점:
◦
LLM의 활용으로 인한 계산 비용 증가 가능성.
◦
특정 LLM(ChatGPT, MPNet)에 대한 의존성.
◦
다양한 UAV 환경 및 객체 종류에 대한 일반화 성능 검증 필요.
◦
데이터셋 종류에 따른 성능 편차 분석 필요.
