Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Any4D: Open-Prompt 4D Generation from Natural Language and Images

Created by
  • Haebom
Category
Empty

저자

Hao Li, Qiao Sun

개요

비디오 생성 기반의 구체화된 세계 모델이 주목받고 있지만, 대규모 구체화된 상호 작용 데이터에 의존하는 것이 주요 병목 현상으로 남아 있습니다. 데이터 부족, 수집의 어려움, 높은 차원성으로 인해 언어와 동작 간의 정밀한 정렬이 제한되고 장기 비디오 생성의 어려움이 가중됩니다. 본 논문은 가능한 원시 동작의 작은 공간보다 구체화된 데이터의 다양성이 훨씬 크다는 점에 착안하여, 비디오 생성을 고정된 짧은 수평선으로 제한하는 Primitive Embodied World Models (PEWM)을 제안합니다. 이 모델은 언어 개념과 로봇 동작의 시각적 표현 간의 세분화된 정렬을 가능하게 하고, 학습 복잡성을 줄이며, 구체화된 데이터 수집의 효율성을 높이고, 추론 지연 시간을 감소시킵니다. 또한, PEWM은 모듈식 Vision-Language Model (VLM) 플래너와 Start-Goal heatmap Guidance mechanism (SGG)을 통해 유연한 폐쇄 루프 제어를 가능하게 하고, 확장되고 복잡한 작업에 대한 원시 수준 정책의 구성적 일반화를 지원합니다.

시사점, 한계점

시사점:
언어 개념과 로봇 동작의 미세한 정렬 가능
학습 복잡성 감소
구체화된 데이터 수집의 효율성 증대
추론 지연 시간 감소
폐쇄 루프 제어 및 구성적 일반화 지원
한계점:
논문 내용에 명시된 한계점은 없음.
👍