본 논문은 인간 피드백으로부터 강화 학습(RLHF)의 한계점을 해결하기 위해 저계수 적응(LoRA)을 개인화된 RLHF 프레임워크에 도입합니다. 기존 RLHF는 인간의 선호도가 동질적이라고 가정하지만, 본 논문은 개인 간의 다양성을 고려하여 개인화된 보상 모델 학습을 가능하게 합니다. LoRA를 통해 모든 개인화된 보상 함수의 집계된 매개변수 공간에 적용하여 제한된 지역 데이터셋으로부터 효율적인 개인화된 보상 모델 학습을 가능하게 합니다. 이는 기존 연구의 제한적인 공유 표현 가정 없이 개별 적응을 허용하면서 지역적 참값 보상 모델 간의 공유 구조를 활용합니다. 또한, 본 논문은 제안된 방법의 표본 복잡도 보장을 확립하고 이론적 분석을 통해 이질적인 인간 선호도 내의 공유 및 개별 특정 구조를 모두 포착하는 효과를 보여줍니다. 실제 데이터셋에 대한 실험 결과는 개인화된 RLHF 설정에서 알고리즘의 효율성을 입증합니다.
