SoftTreeMax는 기존 softmax의 일반화된 형태로, 계획(planning)을 활용하여 정책 경사 방법의 높은 분산과 높은 표본 복잡도 문제를 해결하는 알고리즘입니다. 다단계 할인 누적 보상과 미래 상태의 로짓을 기존 로짓에 추가하여 확장된 형태의 softmax를 사용합니다. 트리 확장을 통해 경사 분산을 줄이는 효과를 분석하고, 분산이 트리 확장 정책에 따라 달라짐을 증명합니다. 특히, 유도된 전이가 상태 독립적일수록 분산 감소 효과가 더 크다는 것을 보입니다. 근사적인 전방 모델을 사용하는 경우에도, 동일한 분산 감소 효과를 유지하면서 근사 오차에 따라 경사 편향이 감소함을 증명합니다. GPU 기반 병렬 시뮬레이터를 활용하여 Atari 환경에서 실험한 결과, SoftTreeMax가 기존 분산 PPO에 비해 경사 분산을 3자릿수 감소시키고, 표본 복잡도와 성능을 향상시킴을 보였습니다.
