VOTE: Vision-Language-Action Optimization with Trajectory Ensemble Voting
Created by
Haebom
저자
Juyi Lin, Amir Taherin, Arash Akbari, Arman Akbari, Lei Lu, Guangyu Chen, Taskin Padir, Xiaomeng Yang, Weiwei Chen, Yiqian Li, Xue Lin, David Kaeli, Pu Zhao, Yanzhi Wang
개요
본 논문은 최근 발전하고 있는 Vision Language Action (VLA) 모델의 제한된 일반화 능력을 해결하기 위해, 추가적인 고성능 시각적 표현이나 확산 기법 없이 효율적인 액션 예측 방법을 제시합니다. 기존 VLA 모델들은 새로운 물체나 낯선 환경에 대한 일반화 능력이 부족하고, 이를 개선하기 위해 depth estimation, segmentation, diffusion 등의 추가적인 구성 요소를 통합하는데, 이는 상당한 계산 비용 증가를 초래합니다. 본 논문에서 제안하는 VOTE는 토큰화가 필요 없는 새로운 미세 조정 기법과 앙상블 투표 전략을 통해 계산 비용을 줄이고 추론 속도를 높이며, 일반화 성능을 향상시키는 효율적이고 일반적인 프레임워크입니다. 실험 결과, 기존 최고 성능을 능가하면서 35배 빠른 추론 속도와 145 Hz의 처리량을 달성했습니다. 모든 세부 정보와 코드는 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
VLA 모델의 효율성과 일반화 성능을 크게 향상시키는 새로운 프레임워크(VOTE) 제시.
◦
토큰화가 필요 없는 미세 조정 기법과 앙상블 투표 전략을 통해 계산 비용 감소 및 추론 속도 향상.
◦
기존 최고 성능(state-of-the-art)을 능가하는 성능 달성 (35배 빠른 추론, 145 Hz 처리량).
◦
코드 공개를 통해 연구의 재현성 및 확장성 증대.
•
한계점:
◦
제안된 방법의 일반화 성능이 다양한 환경 및 작업에 대해 얼마나 견고한지에 대한 추가적인 검증 필요.
