본 논문은 사용자의 선호도와 목표에 맞춰 대형 언어 모델(LLM)의 응답을 개인화하는 새로운 프레임워크인 PLUS(Preference Learning Using Summarization)를 제시합니다. 기존의 RLHF(Reinforcement Learning from Human Feedback)는 모든 사용자를 단일 보상 모델로 학습하여 사용자 간 변동성을 고려하지 못하는 한계가 있었는데, PLUS는 각 사용자의 선호도, 특징, 과거 대화를 요약하는 텍스트 기반 요약을 학습합니다. 이 요약은 보상 모델을 조건화하여 각 사용자가 중요하게 여기는 응답 유형에 대한 개인화된 예측을 가능하게 합니다. 강화 학습을 통해 사용자 요약 모델을 학습하고 보상 모델을 동시에 업데이트하는 온라인 공동 적응 루프를 생성합니다. 다양한 사용자 데이터셋에서 PLUS가 새로운 사용자와 다양한 대화 주제에 대해 강건하며, 생성된 사용자 요약이 GPT-4와 같은 강력한 독점 모델의 제로샷 개인화에 전이될 수 있음을 보여줍니다. 결과적으로 생성된 사용자 요약은 간결하고 휴대 가능할 뿐만 아니라 사용자가 쉽게 해석하고 수정할 수 있어 LLM 정렬에 대한 투명성과 사용자 제어를 향상시킵니다.
