SGDPO: Self-Guided Direct Preference Optimization for Language Model Alignment
Created by
Haebom
저자
Wenqiao Zhu, Ji Liu, Lulu Wang, Jun Wu, Yulun Zhang
개요
본 논문은 대규모 언어 모델(LLM)을 인간의 가치에 맞추기 위해 널리 사용되는 직접 선호도 최적화(DPO)의 한계를 해결하기 위해 자기 안내 직접 선호도 최적화(SGDPO) 알고리즘을 제안합니다. SGDPO는 최적화 과정에서 기울기 흐름을 제어하는 파일럿 항을 도입하여 선택 및 거부된 보상의 업데이트를 세밀하게 제어합니다. 이론적 분석과 다양한 모델 및 벤치마크에 대한 실험을 통해 제안된 방법의 효과성을 검증하고, 최대 9.19% 향상된 점수를 얻었습니다.
시사점, 한계점
•
시사점:
◦
DPO의 한계점인 불안정성과 제한된 인간 선호도 반영 능력을 개선하는 새로운 알고리즘 SGDPO를 제시.
◦
이론적 분석과 실험적 결과를 통해 SGDPO의 효과성을 입증 (최대 9.19% 성능 향상).
