Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting

작성자

Haebom

카테고리

Empty

저자

Sangoh Lee, Sangwoo Mo, Wook-Shin Han

💡 개요

본 논문은 시각-언어-행동(VLA) 모델이 "내 컵 가져와"와 같이 사용자 맞춤형 지시에 어려움을 겪는 문제를 해결하기 위해 Visual Attentive Prompting (VAP)을 제안한다. VAP는 훈련 없이도 VLA 모델에 선택적 주의 집중 능력을 부여하여, 훈련 시 보지 못한 개인 물체를 참조 이미지 몇 장만으로 인식하고 조작할 수 있도록 한다. 실험 결과, VAP는 제안된 벤치마크에서 일반적인 정책 및 토큰 학습 기반 모델보다 성공률과 객체 인식 정확도 측면에서 우수한 성능을 보이며, 의미적 이해와 개별 객체 수준 제어 간의 격차를 줄이는 데 기여한다.

🔑 시사점 및 한계

•

개인 물체 인식 및 조작을 위한 VLA 모델의 새로운 학습 없는 접근 방식 제시.

•

기존 VLA 모델의 일반적인 지시 처리 능력에서 개인 맞춤형 지시 처리 능력으로의 확장 가능성 확인.

•

훈련 데이터에 포함되지 않은 개인 물체에 대한 강건한 인식 및 제어 능력 확보.

•

아직은 시뮬레이션 및 특정 로봇 환경에서의 성능 검증에 집중되어 있으며, 더욱 복잡하고 다양한 실제 환경에서의 성능 향상 연구가 필요함.

PDF 보기

Made with Slashpage