PhysNav-DG는 다양한 환경과 영역에서의 강력한 내비게이션을 위해 고전적인 센서 퓨전과 비전-언어 모델의 의미적 능력을 통합한 새로운 프레임워크입니다. 듀얼-브랜치 아키텍처는 다중 센서 입력으로부터 내비게이션 동작을 예측하는 동시에 상세한 사고 과정 설명을 생성합니다. 수정된 적응형 칼만 필터는 환경적 맥락에 따라 노이즈 매개변수를 동적으로 조정하며, LLaMA 3.2 11B 및 BLIP-2와 같은 모델의 의미적 통찰력과 함께 여러 원시 센서 데이터 스트림을 활용합니다. 실험을 위해 실내 내비게이션, 자율 주행, 사회적 내비게이션 작업을 지상 진실 동작 및 사람이 검증한 설명과 통합한 새로운 다중 도메인 데이터셋인 MD-NEX 벤치마크를 도입했습니다. 광범위한 실험과 에이블레이션 연구는 PhysNav-DG가 내비게이션 성공률을 20% 이상 향상시키고 높은 효율성을 달성하며, 매우 근거 있고 명확한 설명을 제공함을 보여줍니다. 이 연구는 더 안전하고 신뢰할 수 있는 자율 시스템을 위한 고차원 의미적 추론과 기하학적 계획을 연결합니다.
