본 논문은 행동 규제 정책 최적화(BRPO)에 대칭적 발산을 도입하여 새로운 오프라인 강화학습 프레임워크를 제시합니다. 기존 방법들은 해석적 규제 정책과 실용적인 최소화 목표를 얻기 위해 KL과 같은 비대칭적 발산에 초점을 맞추었습니다. 본 논문은 대칭적 발산이 규제로서 해석적 정책을 허용하지 않고 손실로서 수치적 문제를 야기할 수 있음을 보입니다. 본 논문에서는 $f$-발산의 테일러 급수를 통해 이러한 문제점들을 해결합니다. 구체적으로, 유한 급수를 통해 해석적 정책을 얻을 수 있음을 증명합니다. 손실에 대해서는 대칭적 발산이 비대칭성과 조건부 대칭성 항으로 분해될 수 있으며, 후자를 테일러 전개하면 수치적 문제가 완화됨을 관찰합니다. 결론적으로, 대칭적 발산을 사용한 최초의 실용적인 BRPO 알고리즘인 Symmetric $f$ Actor-Critic (S$f$-AC)를 제안합니다. 분포 근사 및 MuJoCo에 대한 실험 결과는 S$f$-AC가 경쟁력 있는 성능을 보임을 확인합니다.
