Ruijie Zheng, Yongyuan Liang, Shuaiyi Huang, Jianfeng Gao, Hal Daume III, Andrey Kolobov, Furong Huang, Jianwei Yang
개요
대규모 시각-언어-행동(VLA) 모델은 방대한 로봇 데이터셋으로 사전 훈련되어 로봇 학습에 유망한 일반화 정책을 제공하지만, 상호작용 로봇공학의 시공간 역학에 여전히 어려움을 겪어 조작과 같은 복잡한 작업 처리에 효과적이지 못합니다. 본 연구에서는 상태-행동 궤적을 시각적으로 인코딩하여 VLA 모델의 시공간 인식을 향상시키는 단순하면서도 효과적인 접근 방식인 시각적 추적 프롬프팅을 제시합니다. 15만 개의 로봇 조작 궤적에 대한 자체 수집 데이터셋을 사용하여 시각적 추적 프롬프팅으로 OpenVLA를 미세 조정하여 새로운 TraceVLA 모델을 개발했습니다. SimplerEnv의 137가지 구성과 실제 WidowX 로봇의 4가지 작업에 대한 TraceVLA 평가는 최첨단 성능을 보여주며, SimplerEnv에서는 OpenVLA보다 10%, 실제 로봇 작업에서는 3.5배 우수한 성능을 보이고 다양한 구현과 시나리오에서 견고한 일반화를 보여줍니다. 본 연구 방법의 효과와 일반성을 추가로 검증하기 위해 Open-X-Embodiment로 사전 훈련되고 본 연구 데이터셋으로 미세 조정된 4B Phi-3-Vision 기반의 소형 VLA 모델을 제시합니다. 이 모델은 7B OpenVLA 기준 모델에 필적하면서 추론 효율성을 크게 향상시킵니다.
시사점, 한계점
•
시사점: 시각적 추적 프롬프팅을 통해 VLA 모델의 시공간 인식을 향상시켜 복잡한 로봇 조작 작업에서 성능을 크게 향상시킬 수 있음을 보여줍니다. 소형 모델을 사용하여 성능 저하 없이 추론 효율성을 높일 수 있는 가능성을 제시합니다.
•
한계점: 현재는 특정 로봇 데이터셋과 작업에 대해서만 평가되었으므로, 다른 로봇 플랫폼이나 작업으로의 일반화 성능에 대한 추가 연구가 필요합니다. 시각적 추적 프롬프팅의 효과가 다른 유형의 VLA 모델에도 적용될 수 있는지에 대한 추가적인 연구가 필요합니다. 수집된 데이터셋의 크기와 다양성이 모델 성능에 미치는 영향에 대한 분석이 부족합니다.
