본 논문은 대규모 언어 모델(LLM)의 출력을 인간의 기대와 일치시키기 위한 강화 학습 기반 방법(RLHF)의 한계를 극복하기 위해, 훈련 데이터에 시선 추적(ET) 데이터를 통합하는 새로운 프레임워크인 GazeReward를 제안합니다. GazeReward는 암묵적 피드백인 시선 추적 데이터를 보상 모델(RM)에 통합하여 인간의 선호도를 더욱 정확하게 모델링합니다. 실험 결과, 다양한 통합 방법, LLM, 및 ET 생성 모델을 사용한 비교 연구를 통해 GazeReward가 기존 인간 선호도 데이터셋에서 RM의 정확도를 상당히 향상시킨다는 것을 보여줍니다. 이 연구는 인간의 가치와 AI 정렬을 최적화하고, 인지 데이터의 잠재력을 탐구하여 향후 NLP 연구에 기여합니다.
