SafeDPO: A Simple Approach to Direct Preference Optimization with Enhanced Safety
Created by
Haebom
저자
Geon-Hyeong Kim, Youngsoo Jang, Yu Jin Kim, Byoungjip Kim, Honglak Lee, Kyunghoon Bae, Moontae Lee
개요
본 논문은 대규모 언어 모델(LLM)의 안전성 확보를 위해 인간 피드백으로부터 강화 학습(RLHF)에 안전 제약 조건을 통합하는 기존 접근 방식의 복잡성을 해결하는 새로운 알고리즘인 SafeDPO를 제안합니다. SafeDPO는 직접적 선호도 최적화(DPO)에 영감을 받아 정책 학습의 단일 단계에서 안전 정렬 목표를 직접 최적화하도록 설계되었으며, 기존 DPO에 하나의 하이퍼파라미터만 추가하여 안전성을 향상시키고, 별도의 보상 및 비용 모델을 적합하거나 미세 조정 중에 언어 모델에서 샘플링할 필요가 없습니다. 실험 결과, SafeDPO는 인간 선호도 정렬 및 안전성 향상 측면에서 최첨단 안전 정렬 알고리즘과 비교하여 경쟁력 있는 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
기존 RLHF 기반 안전 강화 방법의 복잡성을 줄이는 효율적인 알고리즘 SafeDPO 제시.
