Fly0: Persistent Metric Anchoring for Zero-Shot Aerial Vision-Language Navigation
Author
- Haebom
Category
Empty
저자
Zhenxing Xu, Yihong Lu, Weidong Bao, Zhengqiu Zhu, Jingxuan Zhou, Zhichuang Wang, Ji Wang, Lihua Liu, Wei He
💡 개요
기존 시각-언어 내비게이션(VLN) 시스템은 의미론적 이해와 제어 정밀도 사이의 상충 관계를 가집니다. 제안된 Fly0 프레임워크는 멀티모달 대형 언어 모델(MLLM)을 사용하여 자연어 지시사항을 2D 픽셀 좌표로 연결하고, 깊이 데이터를 활용해 3D 공간에서 목표물을 정확히 탐지하며, 충돌 회피 경로를 생성하는 3단계 파이프라인을 통해 이러한 한계를 극복합니다. 이를 통해 시각적 접촉이 끊어져도 안정적으로 경로를 생성하고 계산 부하를 줄여 복잡한 환경에서 성능을 크게 향상시킵니다.
🔑 시사점 및 한계
•
MLLM의 강력한 언어 이해 능력을 제어 정밀도와 결합하여 VLN 시스템의 성능을 혁신적으로 개선할 수 있습니다.
•
의미론적 추론과 기하학적 계획을 분리하는 Fly0의 3단계 접근 방식은 시뮬레이션 및 실제 환경 모두에서 뛰어난 내비게이션 성공률과 정확도를 보여줍니다.
•
깊이 데이터의 정확성과 센서 노이즈는 3D 공간상의 목표물 위치 파악 및 경로 계획의 안정성에 영향을 미칠 수 있으며, 이에 대한 추가적인 연구가 필요합니다.
