본 논문은 강화학습(Reinforcement Learning, RL)에서 환경 전이 모델의 불확실성으로 인해 탐험과 활용 간의 균형이 중요함을 지적합니다. 특히 희소 보상 환경에서는 이 균형을 맞추는 것이 어렵습니다. 이를 해결하기 위해, 본 논문은 대규모 언어 모델(Large Language Model, LLM)을 활용하여 보상을 조정하는 새로운 샘플 효율적인 프레임워크인 Language Model Guided reward Tuning (LMGT)을 제안합니다. LMGT는 LLM이 가진 풍부한 사전 지식과 비표준 데이터 처리 능력을 활용하여 탐험과 활용의 균형을 조절하고, 에이전트의 탐험 행동을 안내하여 샘플 효율성을 높입니다. 다양한 RL 작업과 실제 로봇 환경인 Housekeep에서 LMGT를 평가한 결과, 기존 방법보다 성능이 우수하며, RL 훈련 단계에서 필요한 계산 자원을 크게 줄일 수 있음을 보여줍니다.
