본 논문은 관찰 데이터만을 이용한 사전 훈련 효율성이 뛰어난 잠재 행동 학습(Latent Action Learning) 방법인 잠재 행동 정책(LAPO)의 한계를 다룹니다. 기존 연구는 주로 방해 요소가 없는 데이터에 초점을 맞췄지만, 실제 영상에는 잠재 행동 학습을 방해하는 행동과 상관된 방해 요소가 포함되어 있습니다. 논문에서는 Distracting Control Suite (DCS)를 사용하여 방해 요소가 잠재 행동 학습에 미치는 영향을 실험적으로 조사하고, LAPO가 이러한 상황에서 어려움을 겪는다는 것을 보여줍니다. 이에 따라, 선형 탐색을 통해 잠재 행동의 질을 8배 향상시키는 LAPO 개선 방법인 LAOM을 제안합니다. 또한, 전체 데이터셋의 2.5%에 불과한 지상 진실 행동에 대한 감독을 잠재 행동 학습 중에 제공하면, 후속 작업 성능이 평균 4.2배 향상됨을 보여줍니다. 결론적으로, 방해 요소가 존재하는 경우 잠재 행동 모델(LAM) 학습 중에 감독을 통합하는 것이 중요하며, 먼저 LAM을 학습하고 그 후에 잠재 행동을 지상 진실 행동으로 디코딩하는 기존 파이프라인에 대한 도전 과제를 제시합니다.
