본 논문은 의사 결정 문제에 대한 근사 최적 행동 정책 학습을 위해, 행동 정책과 탐욕 연산자를 딥 뉴럴 네트워크(DNN)로 매개변수화하는 최신 Actor Critic 알고리즘의 개선을 제안한다. DNN 의존성은 기울기 기반 개선을 의미하며, 이는 Q-learning 알고리즘에서 사용되는 탐욕적 업데이트와 같은 연산자보다 단계별로 덜 탐욕적이다. 정책의 느린 변화는 학습 과정의 안정성에 기여할 수 있으며, 이로 인해 탐욕성과 안정성 사이의 트레이드오프가 발생한다. 이러한 트레이드오프를 해결하기 위해, 본 논문은 행동 정책을 비평가에 의해 평가되는 정책으로부터 분리하는 것을 제안한다. 이를 통해 에이전트는 더 탐욕적인 업데이트를 통해 비평가의 정책 (예: 가치 향상)을 별도로 개선하면서, 매개변수화된 행동 정책에 대한 느린 기울기 기반 개선을 유지할 수 있다. 본 연구는 유한 지평 영역에서 일반화된 정책 반복의 분석 방식을 사용하여 이러한 접근 방식의 수렴성을 조사한다. 실험적으로, 인기 있는 off-policy actor-critic 알고리즘인 TD3 및 SAC에 가치 향상을 통합하면 DeepMind 연속 제어 도메인의 다양한 환경에서 해당 기준선 대비 성능이 크게 향상되거나 일치하며, 계산 및 구현 비용은 거의 무시할 수 있다.
