Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach

Created by
  • Haebom
Category
Empty

저자

Siyuan Yang, Yang Zhang, Haoran He, Ling Pan, Xiu Li, Chenjia Bai, Xuelong Li

개요

Vision-Language-Action (VLA) 모델은 다양한 데이터 모드를 사전 학습 단계에서 통합하고, 미세 조정 데이터가 종종 비효율적인 방식으로 수집되어 불필요한 액션 모드가 존재합니다. 본 논문에서는 VLA 정책과 다운스트림 태스크 데이터의 성공 모드에 의해 유도된 정책 간의 분포 변화로 인해 추론 시간의 불안정성이 발생함을 지적합니다. 이를 해결하기 위해, 가벼운 가짜 카운트 추정기를 액션 청크의 고충실도 검증기로 사용하는 테스트 시간 스케일링 (TTS) 프레임워크인 TACO를 제안합니다. TACO는 최대 가짜 카운트 액션을 실행하여 VLA의 일반화 능력을 보존하면서 분포 변화를 방지합니다. 이 방법은 오프라인 강화 학습의 탐색 방지 원리와 유사하며, 특히 흐름 또는 확산 기반 VLA에서 강화 학습 업데이트가 어려운 경우 계산 효율성이 뛰어납니다. RoboTwin2.0, Robotwin, LIBERO, SimplerEnv 및 듀얼 암 플랫폼을 포함한 네 가지 시뮬레이션 벤치마크에서 TACO는 다운스트림 태스크 적응 시 추론 안정성과 성공률을 크게 향상시켰습니다.

시사점, 한계점

•
시사점:
◦
VLA 모델의 추론 안정성 문제를 해결하기 위한 새로운 접근 방식 제시.
◦
경사 없는 (gradient-free) 방법을 통해 계산 효율성 향상.
◦
다양한 시뮬레이션 벤치마크에서 성능 향상 입증.
◦
오프라인 강화 학습의 개념을 활용하여 문제 해결.
•
한계점:
◦
제안된 방법의 실제 환경에서의 일반화 능력 검증 필요.
◦
가짜 카운트 추정기의 성능에 대한 추가 분석 필요.
◦
다른 VLA 모델 및 작업 환경에 대한 TACO의 적용 가능성 탐구 필요.
👍
Made with Slashpage