NORA-1.5: A Vision-Language-Action Model Trained using World Model- and Action-based Preference Rewards
Created by
Haebom
Category
Empty
저자
Chia-Yu Hung, Navonil Majumder, Haoyuan Deng, Liu Renhang, Yankang Ang, Amir Zadeh, Chuan Li, Dorien Herremans, Ziwei Wang, Soujanya Poria
개요
NORA-1.5는 사전 훈련된 NORA 백본에 flow-matching 기반 액션 전문가를 추가하여 구축된 비전-언어-액션(VLA) 모델입니다. 이 구조적 개선은 성능을 향상시키며, 시뮬레이션 및 실제 환경 벤치마크에서 NORA 및 여러 최첨단 VLA 모델을 능가합니다. 또한, 액션 조건부 세계 모델과 실제 정답과의 편차를 결합한 보상 모델을 개발하여 VLA 정책의 신뢰성을 높입니다. 이러한 보상 신호를 사용하여 선호도 데이터세트를 구축하고 직접 선호도 최적화(DPO)를 통해 NORA-1.5를 대상 구현에 적용합니다. 보상 기반 사후 훈련은 시뮬레이션과 실제 로봇 환경 모두에서 성능을 일관되게 향상시킵니다.
시사점, 한계점
•
NORA-1.5는 flow-matching 기반 액션 전문가를 추가하여 VLA 모델 성능을 향상시켰습니다.
•
액션 조건부 세계 모델과 실제 정답과의 편차를 결합한 보상 모델을 사용하여 VLA 정책의 신뢰성을 높였습니다.
•
직접 선호도 최적화(DPO)를 통해 모델을 대상 구현에 적용하여 성능을 개선했습니다.
•
시뮬레이션 및 실제 로봇 환경에서 모델의 성능 향상을 입증했습니다.
•
연구는 단순하지만 효과적인 보상 모델을 통한 VLA 모델 신뢰성 향상의 가능성을 보여줍니다.
