Retrieve-then-Steer: Online Success Memory for Test-Time Adaptation of Generative VLAs

작성자

Haebom

카테고리

Empty

저자

Jianchao Zhao, Huoren Yang, Hu Yusong, Yuyang Gao, Qiguan Ou, Cong Wan, SongLin Dong, Zhiheng Ma, Yihong Gong

💡 개요

본 연구는 로봇 환경에서의 VLA(Vision-Language-Action) 모델의 신뢰도 하락 문제를 해결하기 위해, 고정된 VLA 모델이 성공적인 테스트 경험을 재활용하여 성능을 향상시킬 수 있는지 탐구합니다. 이를 위해 성공적인 관찰-행동 세그먼트를 저장하고, 이를 기반으로 관련 행동 조각을 검색, 일관성 필터링, 그리고 엘리트 행동 사전(prior)으로 통합하는 온라인 성공 기억(success-memory) 기반 테스트 시간 적응 프레임워크를 제안합니다. 이 엘리트 사전은 중간 단계에서 행동 생성기에 주입되며, 검색 신뢰도에 따라 안내 강도가 조절되어, 환경별 성공 경험을 활용하면서도 관찰 기반의 생성적 개선을 유지합니다.

🔑 시사점 및 한계

•

온라인 성공 경험 활용: 로봇이 반복되는 환경에서 얻은 성공적인 경험을 학습 데이터로 활용하여, 사전 훈련된 모델의 성능을 지속적으로 개선할 수 있음을 보여줍니다.

•

비모수적 경량 적응: 모델 파라미터 업데이트 없이, 검색 및 통합 과정을 통해 효율적으로 테스트 시간을 적응시켜 실시간 적용 가능성을 높입니다.

•

안정성 및 복잡한 태스크 성능 향상: 긴 시간이나 다단계로 구성된 복잡한 로봇 태스크에서 특히 성능 향상과 안정성 증대를 달성했습니다.

•

성공 경험의 질적 문제: 저장되는 성공 경험의 품질이 낮거나, 환경 변화가 너무 빠를 경우 성능 향상에 제약이 있을 수 있습니다.

•

검색 및 통합 메커니즘의 효율성: 대규모 메모리나 복잡한 검색 규칙은 계산 비용을 증가시킬 수 있으며, 이에 대한 추가적인 최적화가 필요할 수 있습니다.

PDF 보기

Made with Slashpage