본 논문은 사람의 피드백으로부터 강화 학습(RLHF)을 개선하기 위한 유망한 전략인 규칙 기반 보상에 대해 제시한다. 기존 접근 방식은 수동적인 규칙 엔지니어링에 의존하는 경우가 많지만, 본 논문에서는 선호도 피드백으로부터 규칙을 자동으로 추출하고 규칙 기반 보상으로 공식화하는 완전 자동화된 방법인 AutoRule을 제안한다. AutoRule은 추론 모델을 활용하여 사용자 선호도를 해석하고, 해석의 추론 과정에서 후보 규칙을 식별하고, 이를 통합된 규칙 집합으로 합성하는 세 단계로 작동한다. 최종 규칙 집합을 활용하여 언어 모델 검증기를 사용하여 각 출력에서 만족하는 규칙의 비율을 계산하고, 이 지표를 정책 최적화 중 학습된 보상 모델과 함께 보조 보상으로 사용한다. AutoRule을 사용하여 Llama-3-8B 모델을 훈련한 결과, AlpacaEval2.0에서 길이 제어 승률이 28.6% 향상되었고, MT-Bench 하위 집합의 2회차 성능이 6.1% 향상되었다(동일한 학습된 보상 모델을 사용하여 훈련되었지만 규칙 기반 보조 보상이 없는 GRPO 기준과 비교). 분석 결과, 추출된 규칙은 데이터셋 선호도와 잘 일치하는 것으로 나타났으며, AutoRule은 두 에피소드에 걸쳐 실행될 때 학습된 보상 모델에 비해 보상 해킹이 감소하는 것으로 나타났다. 마지막으로, 사례 연구를 통해 추출된 규칙이 서로 다른 데이터셋에서 중요시되는 고유한 특성을 포착한다는 것을 보여준다. 추출된 규칙은 부록에 제공되며, 코드는 https://github.com/cxcscmu/AutoRule 에서 공개된다.
