SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration
Created by
Haebom
저자
Ye Li, Yuan Meng, Zewen Sun, Kangye Ji, Chen Tang, Jiajun Fan, Xinzhu Ma, Shutao Xia, Zhi Wang, Wenwu Zhu
개요
본 논문은 비전-언어-행동(VLA) 모델의 높은 계산 비용과 낮은 실행 빈도를 해결하기 위해, 모델 스케줄링과 토큰 가지치기를 통합한 SP-VLA 프레임워크를 제안합니다. SP-VLA는 행동 유형에 따라 VLA 모델과 경량 생성기를 동적으로 전환하는 행동 인식 모델 스케줄링 메커니즘과, 공간적 및 의미적 중요도에 기반하여 토큰을 가지치는 공간-의미 이중 인식 토큰 가지치기 메서드를 활용합니다. 이를 통해 중요한 행동과 시각 정보에 집중하여 계산 비용을 줄이면서 정확도를 유지합니다. 실험 결과, 제안된 방법은 최대 1.5배의 가속화를 달성하면서 정확도 저하를 3% 미만으로 유지하는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
VLA 모델의 실시간 응용 가능성을 높였습니다.
◦
모델 스케줄링과 토큰 가지치기를 통합하여 효율적인 가속화를 달성했습니다.
◦
행동 인식 모델 스케줄링과 공간-의미 이중 인식 토큰 가지치기라는 새로운 기법을 제시했습니다.
◦
다양한 작업에서 기존 방법보다 우수한 성능을 보였습니다.
•
한계점:
◦
제안된 방법의 효율성은 특정 유형의 VLA 모델과 작업에 의존적일 수 있습니다.
◦
경량 생성기의 성능이 전체 시스템 성능에 영향을 미칠 수 있습니다.
◦
더욱 다양하고 복잡한 작업에 대한 추가적인 실험이 필요합니다.
◦
행동을 '숙고적'과 '직관적'으로 분류하는 기준의 객관성 및 일반화 가능성에 대한 추가 연구가 필요합니다.
