본 논문은 전문가 시연을 설명하기 위해 보상 함수를 학습하는 역강화학습(IRL)에 대해 다룬다. 기존의 적대적(minimax) 방식의 IRL은 불안정한 학습을 야기하며, 최근 등장한 비적대적 방식은 에너지 기반 형식을 통해 보상과 정책을 함께 학습하지만, 형식적인 보장이 부족하다. 본 연구는 이러한 간극을 메우기 위해, 기존 비적대적 방식이 전문가 행동의 우도(likelihood)를 최대화한다는 점을 밝히고, 이를 기반으로 기대 반환 차이를 최소화하는 TRRO(Trust Region Reward Optimization) 프레임워크를 제안한다. TRRO는 Minorization-Maximization 과정을 통해 우도의 단조 증가를 보장하며, 실용적인 알고리즘 PIRO(Proximal Inverse Reward Optimization)로 구현된다. PIRO는 MuJoCo, Gym-Robotics 벤치마크 및 실제 동물 행동 모델링 작업에서 높은 샘플 효율성을 보이며, 최첨단 기반선과 동등하거나 뛰어난 성능을 보인다.
