본 논문은 대규모 언어 모델(LLM)의 선호도 정렬을 위한 Direct Preference Optimization (DPO) 방법의 한계점을 해결하기 위해 Optimal Transport (OT) 기반의 토큰 가중치 부여 기법인 OTPO(Optimal Transport-based Preference Optimization)를 제안합니다. 기존 DPO는 응답의 모든 토큰에 동일한 중요도를 부여하지만, 사람은 의미 있는 부분에 집중하기 때문에 비효율적입니다. OTPO는 의미 있는 토큰 쌍을 강조하고 덜 관련된 토큰은 낮추는 context-aware 토큰 가중치 부여 방식을 통해 더욱 대조적인 보상 차이 추정치를 제공합니다. 이를 통해 보상의 안정성을 높이고, 해석력을 향상시키며, 의미 있는 차이에 집중하여 instruction-following 성능을 향상시킵니다. 다양한 설정에서 OTPO의 효과를 실험적으로 검증하였습니다.
