StateLinFormer: Stateful Training Enhancing Long-term Memory in Navigation

작성자

Haebom

카테고리

Empty

저자

Zhiyuan Chen, Yuxuan Zhong, Fan Wang, Bo Yu, Pengtao Shao, Shaoshan Liu, Ning Ding

💡 개요

본 논문은 장기 기억을 활용한 효과적인 내비게이션 지능을 위해 기존 모델들의 한계를 극복하는 StateLinFormer를 제안합니다. StateLinFormer는 상태를 유지하는 학습 방식을 통해 마치 무한히 긴 시퀀스를 학습하는 것처럼 장기 기억을 보존하며, 실험 결과 기존 모델들을 능가하는 성능을 보여주었습니다. 특히 상호작용 길이가 길어질수록 문맥 적응 능력이 향상되어 내비게이션 작업에서의 문맥 학습(ICL) 능력이 강화됨을 시사합니다.

🔑 시사점 및 한계

•

내비게이션 작업에서의 장기 기억 능력 향상: 상태 유지 학습을 통해 긴 상호작용에서 효과적인 기억 보존 및 문맥 적응 능력을 확보할 수 있습니다.

•

Transformer 모델의 고정된 컨텍스트 창 제약 극복: 선형 어텐션과 상태 유지 학습을 결합하여 기존 Transformer 모델의 컨텍스트 길이 제한 문제를 해결합니다.

•

다양한 환경에서의 검증 및 ICL 능력 강화: MAZE 및 ProcTHOR 환경에서의 실험을 통해 제안 모델의 우수성을 입증하고, 내비게이션 작업에서의 문맥 학습 능력이 향상됨을 보여줍니다.

•

무한히 긴 시퀀스 학습의 근사: 상태 유지 학습이 실제로는 무한히 긴 시퀀스 학습을 근사하게 만들지만, 실제 무한한 시퀀스를 완벽하게 학습하는 것은 아닙니다.

PDF 보기

Made with Slashpage