본 논문은 강화학습 에이전트가 환경과의 추가적인 상호작용 없이도 학습된 지식을 다양한 하위 작업에 전이하는, 이른바 "제로샷 학습" 능력을 향상시키는 새로운 방법인 '프로토 성공자 측정(Proto Successor Measure, PSM)'을 제시합니다. 기존 제로샷 강화학습 연구들이 특정 작업의 특성이나 MDP 구조에 대한 가정을 하는 것과 달리, PSM은 동적 시스템 내 강화학습 에이전트의 모든 가능한 행동을 나타내는 기저 집합을 정의합니다. PSM은 방문 분포로 표현되는 모든 가능한 행동을 정책과 무관한 이러한 기저 함수들의 선형 결합으로 표현할 수 있음을 증명하고, 테스트 시점에 보상 함수가 주어지면 최적 정책에 해당하는 기저 함수들의 선형 가중치를 찾는 것으로 최적 정책을 생성합니다. 실제 알고리즘을 통해 환경으로부터 보상과 무관한 상호작용 데이터를 사용하여 이러한 기저 함수들을 학습하고, 추가적인 환경 상호작용 없이도 임의의 보상 함수에 대해 최적 정책을 생성할 수 있음을 보여줍니다.
