본 논문은 인터넷 비디오를 통해 사전 훈련된 대규모 비디오 모델이 물체 및 작업의 역동성과 움직임에 대한 풍부한 물리적 지식을 제공하지만, 에이전트의 구현에 근거하지 않고 비디오에 묘사된 시각적 상태에 도달하기 위해 세상을 작동하는 방법을 설명하지 않는다는 문제점을 제기합니다. 이를 해결하기 위해, 이미지 상태를 행동으로 매핑하는 구현체 특정 데이터로 훈련된 별도의 시각 기반 역동 모델을 사용하는 기존 방법의 한계를 지적합니다. 이러한 모델을 훈련하기 위한 데이터 수집의 어려움과 제한된 시각적 설정을 극복하고자, 본 논문에서는 자기 탐색을 통해 비디오 모델을 연속적인 행동에 직접적으로 연결하는 방법을 제시합니다. 생성된 비디오 상태를 시각적 목표로 사용하여 탐색하는 프레임워크를 제안하며, 보상, 행동 레이블 또는 분할 마스크와 같은 외부 감독 없이 복잡한 작업을 해결할 수 있도록 궤적 수준 행동 생성과 비디오 안내를 결합합니다. Libero, MetaWorld, Calvin, iThor Visual Navigation 환경에서 다양한 작업에 대한 실험을 통해 제시된 방법이 전문가 데모로 훈련된 여러 행동 복제 기준선과 비슷하거나 능가하는 성능을 보임을 확인합니다.
