본 논문은 대규모 언어 모델을 활용한 창작 글쓰기에서 주관적인 글쓰기 품질(예: 문학성, 감정 표현)과 객관적인 제약 조건 준수(예: 형식 요구 사항, 단어 수 제한) 사이의 균형을 맞추는 문제를 해결하기 위해 강화 학습 기반의 새로운 방법인 RLMR(Reinforcement Learning with Mixed Rewards)을 제안합니다. RLMR은 주관적인 글쓰기 품질을 평가하는 글쓰기 보상 모델과 객관적인 제약 조건 준수 여부를 평가하는 제약 검증 모델로부터 동적으로 혼합된 보상 시스템을 활용합니다. 특히, 샘플링된 그룹 내 글쓰기 품질에 따라 제약 조건 준수 보상 가중치를 동적으로 조정하여 제약 조건을 위반하는 샘플이 훈련 중에 불이익을 받도록 합니다. 8B~72B 파라미터의 다양한 모델 패밀리에 대한 자동 및 수동 평가와 실제 글쓰기 벤치마크인 WriteEval을 사용하여 실험을 진행하였으며, 명령어 준수 및 글쓰기 품질 모두에서 향상된 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
주관적인 선호도와 객관적인 검증을 온라인 강화 학습 훈련에 결합한 최초의 연구입니다.
◦
다차원적 창작 글쓰기 최적화를 위한 효과적인 솔루션을 제공합니다.
◦
명령어 준수 및 글쓰기 품질 모두에서 향상된 성능을 보입니다. (IFEval 83.36% → 86.65%, WriteEval 수동 전문가 쌍별 평가에서 72.75% 승률)
