본 논문은 인간 피드백으로부터 강화 학습(RLHF)을 사용하여 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 방법을 다룹니다. 특히 상충되는 다양한 인간 선호도를 효과적으로 조정하는 문제를 해결하기 위해, 인간 가치 정렬을 다중 목표 최적화 문제로 설정하고, 상충될 수 있는 여러 목표들을 극대화하는 것을 목표로 합니다. 이를 위해, 다중 기울기 하강법을 사용하여 LLM을 다양한 선호도 분포에 맞추는 새로운 미세 조정 패러다임인 기울기 적응 정책 최적화(GAPO)를 제시합니다. GAPO는 각 목표에 대한 기울기를 적응적으로 다시 조정하여 목표 간의 절충을 최적으로 균형을 맞추는 업데이트 방향을 결정합니다. 또한, 사용자 선호도를 여러 목표에 걸쳐 통합하고 사용자의 특정 요구에 더 잘 맞는 파레토 해를 달성하는 P-GAPO를 제시합니다. 이론적 분석을 통해 GAPO가 여러 목표에 대해 파레토 최적 해로 수렴함을 보였으며, Mistral-7B에 대한 실험 결과는 GAPO가 현재 최첨단 방법보다 우수한 성능을 달성하여 유용성과 무해성 모두에서 우수한 성능을 보임을 보여줍니다.
