Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

Created by

Haebom

저자

Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu

💡 개요

본 논문은 기존 비디오 생성 모델을 로봇의 시각-운동 제어 및 계획을 위한 정책 학습에 효과적으로 활용하는 간단한 방법론인 Cosmos Policy를 제안합니다. Cosmos Policy는 별도의 아키텍처 수정이나 다단계 후처리 없이, 사전 학습된 대규모 비디오 모델을 로봇 시연 데이터로 단일 단계만 미세 조정하여 직접적인 로봇 행동 생성을 학습합니다. 이를 통해 비디오 모델의 시공간적 사전 지식을 활용하여 복잡한 행동 분포를 포착하고, 미래 상태 이미지와 기대 보상 값을 함께 생성하여 성공 확률이 높은 행동 궤적을 계획할 수 있습니다.

🔑 시사점 및 한계

•

사전 학습된 비디오 모델의 강력한 활용 가능성: 대규모 비디오 생성 모델이 보유한 풍부한 시공간적 이해를 로봇 제어 및 계획 문제에 효과적으로 적용할 수 있음을 보여줍니다.

•

간결하고 효율적인 접근 방식: 복잡한 후처리나 별도의 아키텍처 설계 없이 단일 단계 미세 조정만으로 우수한 성능을 달성하여 기존 방법론 대비 효율성을 높입니다.

•

테스트 시간 계획 능력: 미래 상태 및 가치 예측을 통해 동적으로 최적의 행동 궤적을 탐색하고 성공률을 높일 수 있습니다.

•

새로운 로봇 학습 패러다임 제시: 비디오 모델을 정책 학습의 핵심으로 삼아 시각-운동 제어 분야의 새로운 연구 방향을 제시합니다.

•

다양한 환경에서의 높은 일반화 성능: 시뮬레이션 및 실제 로봇 환경 모두에서 최첨단 성능을 달성하며, 다양한 과제에 대한 적용 가능성을 입증했습니다.

•

모델 기반 계획과의 시너지: 정책 롤아웃 데이터를 통해 월드 모델과 가치 함수를 개선하고 모델 기반 계획을 활용하여 어려운 과제에서 성능을 더욱 향상시킬 수 있습니다.

•

한계점: 논문에서 제시된 성능은 주로 특정 로봇 플랫폼 및 시연 데이터에 기반하므로, 다양한 종류의 로봇과 작업 환경으로의 일반화 능력에 대한 추가적인 연구가 필요합니다. 또한, 복잡한 물리적 상호작용이 수반되는 매우 동적인 환경에서의 성능 검증 또한 향후 과제가 될 수 있습니다.

PDF 보기

Made with Slashpage