자율적으로 다양한 기술을 습득할 수 있도록 돕는 자기 지도 목표 기반 강화 학습은 인간의 감독 없이도 로봇이 다양한 기술을 습득할 수 있게 한다. 그러나, 주요 과제는 목표 설정 문제이다. 즉, 로봇은 현재 환경에서 달성 가능한 실행 가능하고 다양한 목표를 제안해야 한다. RIG (Visual Reinforcement Learning with Imagined Goals)와 같은 기존 방법은 학습된 잠재 공간에서 목표를 생성하기 위해 변분 오토인코더(VAE)를 사용하지만, 학습 효율을 저해하는 물리적으로 실행 불가능한 목표를 생성하는 제한이 있다. 본 논문은 Enhanced Physics-Informed Variational Autoencoder (Enhanced p3-VAE)를 통해 물리적 제약 조건을 VAE 훈련 프로세스에 직접 통합하는 Physics-Informed RIG (PI-RIG)를 제안하여 물리적으로 일관된 실행 가능한 목표를 생성할 수 있도록 한다. 주요 혁신은 객체 역학을 지배하는 물리 변수와 시각적 외관을 포착하는 환경 요소를 잠재 공간에서 명시적으로 분리하는 것이며, 미분 방정식 제약 조건과 보존 법칙을 통해 물리적 일관성을 강화한다. 이를 통해 객체 영속성, 충돌 제약 조건 및 동적 실행 가능성과 같은 기본적인 물리적 원리를 존중하는 물리적으로 일관되고 달성 가능한 목표를 생성할 수 있다. 광범위한 실험을 통해, 이러한 물리 정보 기반 목표 생성이 제안된 목표의 품질을 크게 향상시켜, 도달, 밀기, 픽앤 플레이스 시나리오를 포함한 시각적 로봇 조작 작업에서 보다 효과적인 탐색과 더 나은 기술 습득으로 이어진다는 것을 입증한다.
