본 논문은 복잡한 추론 과제에 대한 두 가지 주요 강화 학습 접근 방식인 과정 감독(process supervision)과 결과 감독(outcome supervision) 간의 관계를 탐구합니다. 기존의 통념과 달리, 표준 데이터 적용 범위 가정 하에서 결과 감독을 통한 강화 학습이 과정 감독을 통한 강화 학습보다 통계적으로 더 어렵지 않다는 것을 주요 정리로 제시합니다. 이는 새로운 궤적 측정 변화 보조 정리(Change of Trajectory Measure Lemma)를 통해 궤적 수준 분포 변화와 반환 기반 궤적 측정 간의 연결을 밝힘으로써 가능해졌습니다. 또한 검증자 또는 전개 기능에 접근할 수 있는 설정에서 어떤 정책의 이점 함수도 최적의 과정 보상 모델 역할을 할 수 있음을 증명하여 결과 감독과 과정 감독 간의 직접적인 연결을 보여줍니다. 따라서 결과 감독과 과정 감독 간의 경험적으로 관찰되는 성능 차이는, 만약 있다면, 고유한 통계적 어려움보다는 알고리즘적 한계에서 비롯될 가능성이 높음을 시사합니다. 이는 강화 학습에 대한 데이터 수집 및 알고리즘 설계 방식을 변화시킬 수 있습니다.
