본 논문은 인공지능이 지속적이고 기반이 있는 상호작용으로부터 학습하는 "경험의 시대"로 진입함에 따라, 기존 강화학습(Reinforcement Learning, RL)의 스칼라 값으로 가치를 나타내는 방식이 환경에 대한 깊이 있는 이해를 제한하고, 새로운 패러다임을 탐색하는 데 필수적인 능동적이고 신중한 학습을 방해한다는 주장을 제기한다. 이 문제를 해결하기 위해, 자연어 강화학습(Natural Language Reinforcement Learning, NLRL) 프레임워크를 제시한다. NLRL의 핵심은 평가의 이유를 설명하는 해석 가능한 언어적 서술로 가치를 재정의하는 언어적 가치 함수(Language Value Function, LVF)이다. NLRL은 정책, 벨만 방정식, 정책 반복 등 핵심 RL 구성 요소로 이 개념을 확장한다. 대규모 언어 모델(Large Language Models, LLMs)의 최근 발전을 활용하여, NLRL은 비지도 환경 상호작용을 통해 RL과 유사한 정책 및 가치 훈련을 달성할 수 있다. 4가지 다단계 에이전트 작업에 대한 실험은 NLRL의 효과, 효율성 및 더 깊은 이해와 더 능동적인 학습 전략을 촉진할 가능성을 보여준다.
