본 논문은 대규모 언어 모델(LLM)의 성능 평가에 있어서 인간의 선호도 정렬 문제를 해결하기 위해, 24명의 참가자를 대상으로 OASST1 데이터셋의 LLM 생성 응답을 평가하는 동안의 안구 추적(ET) 데이터를 수집한 OASST-ETC라는 새로운 안구 추적 말뭉치를 제시합니다. 선호하는 응답과 선호하지 않는 응답 간의 구별되는 독서 패턴을 분석하고, 이를 합성 안구 추적 데이터와 비교 분석했습니다. 또한, 인간의 독서 측정치와 다양한 트랜스포머 기반 모델의 주의 패턴 간의 상관관계를 조사하여 선호하는 응답에서 더 강한 상관관계를 발견했습니다. LLM 평가에서 인간의 인지 처리 과정을 연구하기 위한 독특한 자료를 제공하며, 안구 추적 데이터를 정렬 방법에 통합하는 유망한 방향을 제시합니다. 데이터셋과 분석 코드는 공개적으로 이용 가능합니다.
