Erhan Xu, Kai Ye, Hongyi Zhou, Luhan Zhu, Francesco Quinzan, Chengchun Shi
개요
본 논문은 대규모 언어 모델을 인간의 선호도에 맞추기 위한 인간 피드백으로부터의 강화 학습(RLHF)을 연구합니다. RLHF는 유망한 결과를 보여주었지만, 많은 알고리즘은 기저 선호도 모델(예: Bradley-Terry 모델), 참조 정책 또는 보상 함수의 잘못된 명세에 매우 민감하여 바람직하지 않은 미세 조정을 초래합니다. 모델의 잘못된 명세를 해결하기 위해, 선호도 모델 또는 참조 정책 중 하나만 정확하게 명세되면 일관성을 유지하는 이중으로 강건한 선호도 최적화 알고리즘을 제안합니다(둘 다 필요하지 않음). 제안된 알고리즘은 이론적 및 실제적 측면 모두에서 최첨단 알고리즘보다 우수하고 더 강건한 성능을 보여줍니다. 코드는 https://github.com/DRPO4LLM/DRPO4LLM 에서 확인할 수 있습니다.
시사점: 이중으로 강건한 선호도 최적화 알고리즘을 통해 RLHF에서 모델의 잘못된 명세 문제를 효과적으로 해결하여 더욱 안정적이고 우수한 성능을 달성할 수 있음을 보여줍니다. 최첨단 알고리즘보다 향상된 성능을 실험적으로 검증했습니다.
•
한계점: 제안된 알고리즘의 성능은 선호도 모델이나 참조 정책 중 하나가 정확하게 명세되었을 때 보장되지만, 둘 다 잘못 명세된 경우의 성능은 추가적인 연구가 필요합니다. 실험 환경의 특수성에 따라 일반화 성능이 달라질 수 있습니다. 또한, 코드의 접근성이 높아졌지만, 복잡한 알고리즘 이해와 구현에 어려움을 겪는 사용자에게는 진입 장벽이 존재할 수 있습니다.
