본 논문은 로봇 정책 성능 향상을 위해 예측된 상태를 활용하는 예측적 조작(Predictive Manipulation)에 초점을 맞추고 있습니다. 특히, 로봇-객체 상호작용의 미래 시각적 상태를 정확하게 생성하는 것은 어려운 문제이며, 고품질 픽셀 수준 표현을 달성하는 데 어려움이 있습니다. 이를 해결하기 위해, 본 논문은 확산 모델링을 사용하여 미래 상태의 잠재 공간을 예측하는 세계 모델 LaDi-WM을 제안합니다. LaDi-WM은 기하학적 특징(DINO 기반)과 의미적 특징(CLIP 기반)을 포함하는 사전 훈련된 시각적 기반 모델(VFM)과 정렬된 잠재 공간을 활용합니다. 픽셀 수준 이미지를 직접 예측하는 것보다 잠재 공간의 진화를 예측하는 것이 학습이 더 쉽고 일반화가 더 잘 된다는 것을 발견했습니다. LaDi-WM을 기반으로, 예측된 상태를 통합하여 출력 동작을 반복적으로 개선하는 확산 정책을 설계하여 더 일관되고 정확한 결과를 생성합니다. 합성 및 실제 벤치마크에 대한 광범위한 실험을 통해 LaDi-WM이 LIBERO-LONG 벤치마크에서 27.9%, 실제 시나리오에서 20%의 정책 성능을 크게 향상시킨다는 것을 보여줍니다. 또한, 제안된 세계 모델과 정책은 실제 실험에서 인상적인 일반화 성능을 달성합니다.
