Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control

Created by
  • Haebom
Category
Empty

저자

Yuxuan Wang, Haobin Jiang, Shiqing Yao, Ziluo Ding, Zongqing Lu

개요

본 논문은 언어 이해와 물리적 실행을 통합하는 휴머노이드 전신 제어를 위한 종단간(end-to-end) 언어-행동 모델인 SENTINEL을 제시한다. SENTINEL은 사전 훈련된 전신 컨트롤러를 사용하여 시뮬레이션에서 인간 동작을 추적하고 텍스트 주석을 결합하여 대규모 데이터 세트를 구축한다. 이 모델은 중간 표현 없이 언어 명령과 고유 수용성 입력을 저수준 동작에 직접 매핑한다. 또한, flow matching을 사용하여 동작 청크를 생성하고, 잔여 동작 헤드를 통해 실제 환경에 적용할 수 있도록 개선한다. SENTINEL은 시뮬레이션 및 실제 휴머노이드 로봇에서 강력한 의미 이해와 안정적인 실행을 보여주며, 입력을 텍스트로 변환하여 다중 모드 확장을 지원한다.

시사점, 한계점

시사점:
완전한 종단간 언어-행동 모델로 휴머노이드 제어의 새로운 접근 방식 제시.
대규모 데이터 세트를 활용하여 언어 명령과 물리적 동작 간의 긴밀한 정렬을 달성.
시뮬레이션 및 실제 환경에서 강력한 성능 입증.
다중 모드 입력을 지원하여 유연성을 제공.
한계점:
모델의 일반화 능력 및 복잡한 환경에서의 안정성에 대한 추가 연구 필요.
데이터 세트의 품질 및 다양성이 모델 성능에 미치는 영향 분석 필요.
flow matching 및 잔여 동작 헤드의 최적화에 대한 추가 연구 필요.
실제 로봇 환경에서의 안정성 및 견고성 향상 연구 필요.
👍