본 논문은 대규모 언어 모델(LLM) 기반 대화형 에이전트의 개인 맞춤형 상호작용 향상을 위한 새로운 방법을 제시합니다. 기존 강화 학습 기반 방법(RLHF)은 유용성과 안전성에 초점을 맞추지만, 공감적이고 적응적이며 개인화된 대화를 생성하는 데는 부족함을 보입니다. 본 논문에서는 사용자 모델에 기반하여 호기심 기반 내재적 보상을 다회차 RLHF에 통합하는 방법을 제안합니다. 이를 통해 LLM 에이전트는 사용자 특성을 적극적으로 추론하고, 사용자 모델의 정확도를 향상시키도록 대화를 최적화하여 더욱 개인화된 상호작용을 제공합니다. 대화형 추천 및 교육 환경에서의 실험을 통해 기존 RLHF 대비 개선된 개인화 성능과 일반화 성능을 보이며 대화 품질도 유지함을 보여줍니다.
