Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mem2Ego: Empowering Vision-Language Models with Global-to-Ego Memory for Long-Horizon Embodied Navigation

Created by
  • Haebom

저자

Lingfeng Zhang, Yuecheng Liu, Zhanguang Zhang, Matin Aghaei, Yaochen Hu, Hongjian Gu, Mohammad Ali Alomrani, David Gamaliel Arcos Bravo, Raika Karimi, Atia Hamidizadeh, Haoping Xu, Guowei Huang, Zhanpeng Zhang, Tongtong Cao, Weichao Qiu, Xingyue Quan, Jianye Hao, Yuzheng Zhuang, Yingxue Zhang

개요

본 논문은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 활용한 임바디드 내비게이션(embodied navigation)에서의 한계점을 해결하기 위한 새로운 프레임워크를 제시합니다. 기존의 LLM 기반 접근 방식은 공간 정보의 손실로 인해 복잡한 환경에서 공간 추론에 어려움을 겪는 반면, VLM 기반 접근 방식은 부분적으로 관찰된 의사결정 문제로 인해 최적이 아닌 결정을 내릴 수 있습니다. 본 논문에서 제안하는 방법은 글로벌 메모리 모듈에서 작업 관련 정보를 적응적으로 검색하여 에이전트의 자기중심적 관찰과 통합함으로써 이러한 문제점을 해결합니다. 글로벌 정보와 로컬 인식을 동적으로 정렬하여 장기간 작업에서 공간 추론 및 의사결정을 향상시키며, 실험 결과 기존 최첨단 방식을 능가하는 성능을 보여줍니다.

시사점, 한계점

시사점:
LLM과 VLM의 장점을 결합하여 임바디드 내비게이션의 효율성과 정확성을 향상시켰습니다.
글로벌 메모리와 에이전트의 자기중심적 관찰을 통합하여 복잡한 환경에서도 효과적인 공간 추론 및 의사결정이 가능합니다.
장기간 작업에서 기존 최첨단 방식보다 우수한 성능을 달성했습니다.
임바디드 내비게이션 분야에 효과적이고 확장 가능한 솔루션을 제공합니다.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.
다양한 환경 및 작업에 대한 로버스트성을 평가하는 추가적인 실험이 필요합니다.
글로벌 메모리 모듈의 효율적인 관리 및 업데이트 전략에 대한 추가적인 연구가 필요합니다.
👍