본 논문은 강화학습에서 보상 정렬 문제를 해결하기 위해, 제로샷 거대 언어 모델(LLM)을 활용한 새로운 프레임워크(LLM-HFBF)를 제안합니다. LLM-HFBF는 자연어 처리를 넘어 연속 제어 작업에도 LLM을 보상 조정에 활용하여, 인간 피드백의 편향성에 의존하지 않고도 보상 함수를 개선합니다. 또한, 인간 피드백의 편향성을 LLM이 식별하고 수정하는 기능을 통해, 더욱 균형 있고 신뢰할 수 있는 강화학습 시스템을 구축합니다. 실험 결과, 편향된 인간 피드백은 성능을 크게 저하시키는 반면, LLM 기반 방법은 편향되지 않은 피드백과 유사한 수준의 성능을 유지함을 보여줍니다.
