HER: Human-like Reasoning and Reinforcement Learning for LLM Role-playing

Thu, 30 Apr 2026 07:47:33 GMT

### 저자

Chengyu Du, Xintao Wang, Aili Chen, Weiyuan Li, Rui Xu, Junteng Liu, Zishan Huang, Rong Tian, Zijun Sun, Yuhao Li, Liheng Feng, Deming Ding, Pengyu Zhao, Yanghua Xiao

### 💡 개요

본 논문은 LLM 기반 역할극에서 캐릭터의 내면 사고를 시뮬레이션하는 데 대한 어려움을 해결하기 위해 HER(Human-like Reasoning and Reinforcement Learning) 프레임워크를 제안합니다. HER은 캐릭터의 1인칭 사고와 LLM의 3인칭 사고를 구분하는 이중 사고 구조를 도입하고, 역공학을 통해 추론이 보강된 역할극 데이터를 구축하며, 인간 선호도에 부합하는 보상 모델을 개발합니다. 실험 결과, HER은 기존 모델 대비 CoSER 및 Minimax Role-Play 벤치마크에서 상당한 성능 향상을 보였습니다.

### 🔑 시사점 및 한계

- LLM 역할극에서 캐릭터의 인지적 시뮬레이션을 강화할 수 있는 효과적인 프레임워크를 제시합니다.

- 추론 기반 데이터 구축 및 인간 선호도에 정렬된 보상 모델 개발의 중요성을 강조합니다.

- 제안된 모델은 Qwen3-32B를 기반으로 하며, 추가적인 LLM 모델 및 복잡한 시나리오에 대한 확장성 검증이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2601.21459)