VOTE: Vision-Language-Action Optimization with Trajectory Ensemble Voting
Created by
Haebom
저자
Juyi Lin, Amir Taherin, Arash Akbari, Arman Akbari, Lei Lu, Guangyu Chen, Taskin Padir, Xiaomeng Yang, Weiwei Chen, Yiqian Li, Xue Lin, David Kaeli, Pu Zhao, Yanzhi Wang
개요
자연어 지침에 따라 로봇 조작 작업을 수행하는 대규모 비전-언어-행동(VLA) 모델의 문제를 해결하기 위해, 추론 지연 시간과 훈련 비용을 줄이는 적은 수의 행동 토큰 생성에 초점을 맞춘 훈련 프레임워크를 개발했습니다. 또한, 생성된 행동의 활용도를 높이고 전체 성능을 향상시키기 위해 현재 및 이전 행동 예측을 결합하는 투표 기반 앙상블 전략을 도입했습니다. 그 결과, 최첨단 VLA 모델보다 우수한 성능을 달성했으며, 가장 빠른 추론 속도와 실용성을 보여주는 엣지 플랫폼에서 46Hz 처리량으로 OpenVLA보다 39배 빠른 추론 속도를 기록했습니다.
시사점, 한계점
•
시사점:
◦
추론 지연 시간 및 훈련 비용 감소: 적은 수의 행동 토큰을 생성하여 VLA 모델의 효율성을 향상시킴.
◦
성능 향상: 투표 기반 앙상블 전략을 통해 생성된 행동의 활용도를 높여 전체 성능을 개선.
