대규모 언어 모델(LLM)과 같은 효과적인 대화형 에이전트는 교육 및 의료와 같은 다양한 영역에서 사용자 선호도, 개성 및 속성에 적응하기 위해 상호 작용을 개인화해야 합니다. 현재 방법론은 유용성과 안전성을 우선시하지만, 진정으로 공감적이고 적응적이며 개인화된 대화를 촉진하는 데는 미흡합니다. 본 논문에서는 사용자 모델을 활용하여 호기심 기반 내재적 보상을 다중 턴 RLHF에 통합하는 것을 제안합니다. 이 새로운 보상 메커니즘은 LLM 에이전트가 사용자 특성을 적극적으로 추론하고, 사용자 모델의 정확도를 향상시키기 위해 대화를 최적화하도록 장려합니다. 결과적으로 에이전트는 사용자에 대해 더 많이 학습하여 더 개인화된 상호 작용을 제공합니다. 대화형 추천 작업에서 개인화 성능을 크게 향상시키고, 교육 환경에서 다양한 학습 스타일에 맞게 대화를 개인화하는 두 가지 영역에서 방법론의 효과를 입증했습니다. 전통적인 다중 턴 RLHF에 비해 개선된 일반화 능력을 보여주며, 대화 품질을 유지합니다.
