본 논문은 보상 신호나 에이전트의 행동 없이 상태 궤적만으로 학습할 수 있는 마르코프 결정 과정(MDP)을 위한 상태 표현 프레임워크를 제시한다. 환경의 기본 구조를 파악하는 기본 척도로 상태 간의 전환에 필요한 최소 행동 횟수인 최소 행동 거리(MAD)를 학습하는 것을 제안한다. MAD는 목표 조건부 강화 학습 및 보상 형성과 같은 다운스트림 작업을 가능하게 하며, 진행 상황에 대한 밀도가 높고 기하학적으로 의미 있는 척도를 제공한다. 자기 지도 학습 접근 방식은 임베딩된 상태 쌍 간의 거리가 MAD에 해당하는 임베딩 공간을 구성하여 대칭 및 비대칭 근사 모두를 수용한다. 결정적 및 확률적 역학, 이산 및 연속 상태 공간, 노이즈가 있는 관측이 있는 환경을 포함하는 알려진 MAD 값을 가진 다양한 환경에서 프레임워크를 평가한다. 실험 결과는 제안된 접근 방식이 이러한 다양한 설정에서 정확한 MAD 표현을 효율적으로 학습할 뿐만 아니라 표현 품질 측면에서 기존의 상태 표현 방법보다 월등히 뛰어남을 보여준다.
