VOTE: Vision-Language-Action Optimization with Trajectory Ensemble Voting
Created by
Haebom
저자
Juyi Lin, Amir Taherin, Arash Akbari, Arman Akbari, Lei Lu, Guangyu Chen, Taskin Padir, Xiaomeng Yang, Weiwei Chen, Yiqian Li, Xue Lin, David Kaeli, Pu Zhao, Yanzhi Wang
개요
본 논문은 대규모 비전 언어 행동(VLA) 모델의 두 가지 단점, 즉 많은 토큰 생성으로 인한 높은 추론 지연 시간과 훈련 비용 증가, 그리고 생성된 행동의 활용 부족으로 인한 성능 저하 문제를 해결하는 새로운 훈련 프레임워크와 추론 최적화 기법을 제시합니다. 제안된 프레임워크는 병렬성이 높은 훨씬 적은 수의 행동 토큰을 생성하도록 VLA 모델을 미세 조정하여 추론 지연 시간과 훈련 비용을 효과적으로 줄입니다. 또한, 새로운 투표 기반 앙상블 전략을 사용하는 추론 최적화 기법을 통해 현재와 이전의 행동 예측을 결합하여 생성된 행동의 활용도와 전반적인 성능을 향상시킵니다. 실험 결과, 최첨단 VLA 모델보다 우수한 성능을 달성하며, OpenVLA보다 훨씬 높은 성공률과 39배 빠른 추론 속도(46Hz 처리량)를 에지 플랫폼에서 보여주어 실제 배포 가능성을 입증합니다. 코드는 GitHub에서 공개됩니다.
