본 논문은 대규모 언어 모델(LLM)의 인간 선호도 정렬 문제를 해결하기 위해, 독자의 눈 추적(ET) 데이터를 활용한 새로운 접근 방식을 제시합니다. OASST1 데이터셋의 LLM 생성 응답을 평가하면서 24명의 참가자를 대상으로 수집된 눈 추적 데이터(OASST-ETC)를 이용하여, 선호하는 응답과 선호하지 않는 응답 간의 독서 패턴 차이를 분석합니다. 합성 눈 추적 데이터와의 비교 분석을 통해, 인간의 독서 측정값과 다양한 트랜스포머 기반 모델의 주의 패턴 간의 상관관계를 조사하고, 선호하는 응답에서 더 강한 상관관계를 발견합니다. 이는 LLM 평가에서 인간의 인지 과정 연구를 위한 독특한 자료를 제공하며, 눈 추적 데이터를 정렬 방법에 통합하는 유망한 방향을 제시합니다. 데이터셋과 분석 코드는 공개적으로 제공됩니다.
