본 논문은 강화학습(Reinforcement Learning, RL)에서 환경 전이 모델의 불확실성으로 인해 탐험과 활용 간의 균형이 중요하며, 특히 희소 보상 환경에서 이 균형을 맞추는 것이 어렵다는 문제를 제기합니다. 많은 환경에서 풍부한 사전 지식이 존재함을 고려하여, 본 논문은 대규모 언어 모델(Large Language Model, LLM)을 활용한 새로운 샘플 효율적인 프레임워크인 Language Model Guided reward Tuning (LMGT)을 제안합니다. LMGT는 LLM의 사전 지식과 비표준 데이터 처리 능력을 활용하여 보상을 조정함으로써 탐험과 활용의 균형을 효과적으로 맞추고, 에이전트의 탐험 행동을 안내하여 샘플 효율성을 높입니다. 다양한 RL 작업과 Housekeep 로봇 환경에서 LMGT를 평가한 결과, 기존 방법보다 우수한 성능과 계산 자원 감소 효과를 확인했습니다.
