본 논문은 자연어 명령을 따라 길을 찾는 Vision-Language Navigation (VLN) 에이전트를 구축하는 연구에 대해 다룬다. 기존 연구들은 대규모 언어 모델(LLM)의 추론 능력을 활용하여 탐색 성능을 개선하고 LLM의 훈련 데이터와 VLN 작업 간의 도메인 격차를 줄이는 잠재력을 보여주었다. 하지만 이러한 접근 방식은 주로 직접적인 입력-출력 매핑 패러다임을 채택하여 매핑 학습이 어렵고 탐색 결정이 설명 불가능하다는 단점이 있다. 본 논문에서는 LLM 기반 VLN을 향상시키기 위한 새로운 자기 개선형 구현 추론 프레임워크인 EvolveNav를 제안한다. EvolveNav는 형식화된 CoT(Chain-of-Thought) 지도 학습과 자기 반성적 사후 학습의 두 단계로 구성된다. 형식화된 CoT 지도 학습 단계에서는 형식화된 CoT 레이블을 사용하여 모델의 탐색 추론 능력을 활성화하고 추론 속도를 높인다. 자기 반성적 사후 학습 단계에서는 모델의 자체 추론 결과를 자기 풍부화된 CoT 레이블로 반복적으로 학습하여 지도 다양성을 향상시킨다. 또한 잘못된 추론 패턴과 대조하여 올바른 추론 패턴 학습을 장려하는 자기 반성적 보조 작업도 도입한다. 실험 결과는 인기 있는 VLN 벤치마크에서 EvolveNav가 이전의 LLM 기반 VLN 접근 방식보다 우수함을 보여준다. 코드는 https://github.com/expectorlin/EvolveNav 에서 확인할 수 있다.
