본 논문은 강화학습(RL) 에이전트의 훈련 과정에서 발생하는 지역 최적화 문제와 장기적 보상 극대화 실패 문제를 해결하기 위해, 대규모 언어 모델(LLM)을 활용한 정책 조절 프레임워크를 제안합니다. 기존의 자동화된 정책 개선 방법이나 사람의 개입을 필요로 하는 방법과 달리, 본 논문에서 제안하는 방법은 추가적인 모델 훈련이나 사람의 개입 없이 LLM을 이용하여 에이전트의 궤적에서 중요한 상태를 식별하고, 이를 바탕으로 행동 제안 및 암시적 보상을 제공하여 정책 개선을 유도합니다. 표준 RL 벤치마크에 대한 실험 결과, 제안된 방법이 최첨단 기준 모델보다 성능이 우수함을 보여줍니다.
