본 논문은 복잡한 로봇 작업을 위한 강화 학습(RL)에 대규모 언어 모델(LLM)을 통합하는 것을 다룬다. 기존 RL 방법들의 비효율적인 탐색과 높은 계산 비용 문제를 해결하기 위해, LLM 기반의 하위 목표 선택과 옵션 재사용을 활용하는 계층적 RL 프레임워크인 LDSC를 제안한다. LDSC는 자연어로 된 작업 설명을 기반으로 LLM을 사용하여 하위 목표를 생성하고, 재사용 가능한 옵션 학습 및 선택 방법과 행동 수준 정책을 통해 다양한 작업에서 효과적인 의사결정을 가능하게 한다. LLM을 하위 목표 예측과 정책 안내에 통합하여 탐색 효율성을 개선하고 학습 성능을 향상시킨다. 실험 결과, LDSC는 기준 모델보다 평균 보상에서 55.9% 향상된 성능을 보였다.
