선호도 기반 정책 최적화를 통해 대규모 언어 모델(LLM)의 부트스트래핑은 광범위한 수동 주석에 의존하지 않고 모델 동작을 인간 선호도에 맞추는 유망한 방향을 제시합니다. 본 연구에서는 학습 과정을 주 정책과 보상 모델(RM) 간의 min-max 게임으로 공식화하는 새로운 선호도 기반 정책 최적화(PbPO) 프레임워크를 제안합니다. RM은 신뢰할 수 있는 활용을 보장하기 위해 선호도 데이터에서 파생된 신뢰 집합 내에서 제약됩니다. 당사의 반복적인 온라인 알고리즘은 진화하는 정책의 안내된 탐색을 통해 선호도 데이터를 적극적으로 수집하여 정책과 RM 모두의 지속적인 자체 개선을 가능하게 합니다. 당사는 본 방법론에 대한 이론적 보장을 제공하여 시퀀스 수준 RM 및 토큰 수준 RM 모두에 대한 높은 확률의 후회 경계를 설정하고, LLM을 부트스트래핑하는 데 있어 효과를 입증했습니다. 5가지 벤치마크에 대한 광범위한 실험을 통해 당사 접근 방식이 기존의 최첨단 선호도 최적화 기술보다 일관되게 우수함을 보였습니다.
