Anchored Direct Preference Optimization (ADPO)는 Direct Preference Optimization (DPO)의 한계를 극복하기 위해 제안된 프레임워크입니다. DPO는 주석자의 노이즈와 분포 변화에 취약한데, ADPO는 reference anchoring을 통해 soft listwise supervision으로 preference learning을 확장합니다. ADPO는 KL(q || softmax((s - s_ref) / tau_anc))를 최소화하며, supervised fine-tuning, knowledge distillation, maximum-entropy reinforcement learning, DPO를 특별한 경우로 포함합니다. 또한, anchor와 독립적인 softmax Fisher metric에 의해 제어되는 implicit trust region을 유도하고, 안정적인 dynamic-anchor 업데이트를 지원합니다. 실험 결과, dynamic anchors는 노이즈 환경에서 온라인 탐색을 개선하고, fixed anchors는 오프라인 distillation에서 우수하여 student-teacher KL을 최대 170~5000배까지 줄였습니다.
