본 논문은 대규모 언어 모델 정렬을 위한 새로운 선택적 정렬 전략인 SePO(Selective Preference Optimization)를 제안합니다. 기존 토큰 수준 정렬 방법들이 모든 토큰을 최적화하거나 복잡하고 비용이 많이 드는 키 토큰 선택 전략을 사용하는 것과 달리, SePO는 효율적인 키 토큰 선택에 중점을 둡니다. SePO는 직접 선호도 최적화(DPO)를 기반으로 한 최초의 토큰 선택 방법을 제시하는데, 이는 오라클 모델을 훈련하여 대상 데이터에 대한 토큰 수준 보상 함수를 추정합니다. 이 방법은 응답 수준 주석이 있는 기존 정렬 데이터셋에 적용 가능하며, 소규모 오라클 모델과 훈련 데이터를 사용하여 비용 효율적인 토큰 선택을 가능하게 합니다. 추정된 보상 함수는 대상 데이터셋 내의 모든 토큰을 점수 매기는 데 사용되며, 참조 모델 없는 대조적 목적 함수를 사용하여 대상 정책 모델을 감독하는 데는 키 토큰만 선택됩니다. 세 개의 공개 평가 벤치마크에 대한 광범위한 실험 결과, SePO는 대상 데이터셋의 30% 키 토큰만 최적화하여 경쟁 기준 방법보다 성능이 크게 향상됨을 보여줍니다. 약한 일반화에서 강한 일반화로의 SePO 적용은 약한 오라클 모델이 최대 16.8배 더 많은 매개변수를 가진 강력한 정책 모델을 효과적으로 감독함을 보여줍니다. 또한 SePO는 분포 외 데이터에서 키 토큰을 효과적으로 선택하여 강력한 정책 모델을 향상시키고 과적합 문제를 완화합니다.
