본 논문은 강화학습에서 자연어 설명으로부터 밀집 보상을 자동으로 합성하는 방법을 제시합니다. 기존 연구들의 한계점인 LLM 어노테이션의 확장성 문제 및 방대한 오프라인 데이터셋 필요성을 해결하기 위해, 분산 아키텍처 ONI를 제안합니다. ONI는 비동기식 LLM 서버를 통해 에이전트의 경험을 어노테이션하고, 이를 내재적 보상 모델로 증류하는 방식입니다. 해싱, 분류, 순위 지정 모델 등 다양한 알고리즘을 탐색하며, NetHack Learning Environment의 다양한 과제에서 최첨단 성능을 달성합니다. 기존 연구와 달리 대규모 오프라인 데이터셋이 필요하지 않습니다. 코드는 깃허브에 공개되었습니다.
