본 논문은 대규모 언어 모델(LLM)의 안전성과 유용성을 동시에 향상시키는 새로운 지도 학습 프레임워크인 Bi-Factorial Preference Optimization (BFPO)를 제안합니다. 기존의 RLHF(Reinforcement Learning from Human Feedback) 방식은 안전성과 유용성 간의 균형을 맞추는 데 높은 비용이 소요되는 문제점을 가지고 있는데, BFPO는 안전성과 유용성을 모두 고려하는 단일 지도 학습 목표 함수로 재매개변수화하여 이 문제를 해결합니다. 전반적인 선호도 순위를 포착하는 레이블링 함수를 사용하여 안전성과 유용성 간의 균형을 맞추고, 포괄적인 평가 벤치마크를 통해 기존 방법보다 안전성과 유용성 모두에서 뛰어난 성능을 보임을 입증합니다. 특히, 기존의 높은 인적 자원 소모 방식과 동등한 수준의 안전성을 10% 미만의 계산 자원과 인적 자원으로 달성합니다. 소스 코드는 GitHub에서 공개됩니다.
