EA-WM: Event-Aware Generative World Model with Structured Kinematic-to-Visual Action Fields

작성자

Haebom

카테고리

Empty

저자

Zhaoyang Yang, Yurun Jin, Lizhe Qi, Cong Huang, Kai Chen

💡 개요

본 논문은 로봇의 운동학적 제어와 시각적 지각을 효과적으로 연결하는 사건 인식 생성 월드 모델(EA-WM)을 제안합니다. 기존 모델과 달리, EA-WM은 로봇의 운동학적 상태와 동작을 추상적인 토큰이 아닌, 대상 카메라 뷰로 직접 투영되는 구조화된 운동학-시각 행동 필드(Structured Kinematic-to-Visual Action Fields)로 표현합니다. 이러한 기하학적으로 근거한 표현을 활용하여, EA-WM은 객체 상태 변화와 상호작용 역학을 포착하는 사건 인식 양방향 융합 블록을 도입함으로써 최첨단 성능을 달성했습니다.

🔑 시사점 및 한계

•

로봇의 운동학적 제어 신호를 시각적 생성 모델에 직접 통합하여, 로봇의 정밀한 공간 기하학 및 로봇-객체 상호작용 역학을 더 잘 보존하는 새로운 접근 방식을 제시합니다.

•

구조화된 운동학-시각 행동 필드와 사건 인식 양방향 융합 블록은 기존 모델 대비 월드 모델의 시각 생성 품질과 로봇 동작 재현 능력을 크게 향상시킬 수 있음을 보여줍니다.

•

제안된 EA-WM의 복잡성과 계산량, 그리고 실제 로봇 환경에서의 확장성 및 강건성에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage