본 논문은 대규모 언어 모델(LLM)의 출력을 인간의 기대와 일치시키기 위한 강화 학습 기반 인간 피드백(RLHF)의 한계를 극복하고자, 암묵적 피드백인 시선 추적(ET) 데이터를 보상 모델(RM)에 통합하는 GazeReward 프레임워크를 제시합니다. 다양한 통합 방법, LLM, 그리고 ET 생성 모델을 사용한 실험을 통해 GazeReward가 기존 인간 선호도 데이터셋에서 RM의 정확도를 상당히 향상시킨다는 것을 보여줍니다. 이 연구는 인지 데이터의 잠재력을 탐색하여 인간 가치와의 AI 정렬 최적화에 대한 논의를 발전시키고 미래의 NLP 연구를 위한 방향을 제시합니다.
