Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LeVERB: Humanoid Whole-Body Control with Latent Vision-Language Instruction

Created by
  • Haebom

저자

Haoru Xue, Xiaoyu Huang, Dantong Niu, Qiayuan Liao, Thomas Kragerud, Jan Tommy Gravdahl, Xue Bin Peng, Guanya Shi, Trevor Darrell, Koushil Screenath, Shankar Sastry

개요

본 논문은 휴머노이드 전신 제어(WBC) 작업을 위한 최초의 시뮬레이션-실제-준비, 시각-언어, 폐쇄 루프 벤치마크를 소개합니다. 기존의 시각-언어-행동(VLA) 모델들이 정교한 저수준 제어기와 수동으로 제작된 행동 어휘에 의존하는 것과 달리, 본 논문에서는 합성적으로 렌더링된 운동학적 데모에서 잠재적인 행동 어휘를 학습하는 상위 수준의 시각-언어 정책과, 이러한 잠재적인 동작을 사용하여 동역학 수준의 명령을 생성하는 하위 수준의 강화 학습 기반 WBC 정책을 갖는 LeVERB(Latent Vision-Language-Encoded Robot Behavior) 프레임워크를 제안합니다. LeVERB는 단순한 시각적 탐색 작업에서 80%의 성공률을 달성하고, 전체적으로 58.5%의 성공률을 달성하여 기존의 방법보다 7.8배 더 나은 성능을 보였습니다. 벤치마크는 10개 카테고리의 150개 이상의 작업으로 구성됩니다.

시사점, 한계점

시사점:
휴머노이드 WBC를 위한 최초의 시뮬레이션-실제-준비 시각-언어 폐쇄 루프 벤치마크 제공.
잠재적인 행동 어휘를 학습하는 계층적 VLA 프레임워크인 LeVERB 제안.
기존 VLA 모델 대비 월등히 향상된 성능(7.8배)을 보이는 LeVERB의 우수성 입증.
시각-언어 지시를 따르는 휴머노이드 로봇 제어 분야의 발전에 기여.
한계점:
벤치마크의 작업 범위가 제한적일 수 있음.
LeVERB의 성능이 복잡한 작업에서는 저하될 가능성 존재.
실제 환경에서의 일반화 성능에 대한 추가적인 연구 필요.
합성 데이터에 대한 의존도가 높아 실제 환경과의 차이로 인한 성능 저하 가능성 존재.
👍