본 논문은 대규모 언어 모델(LLM)의 인간 선호도 정렬 문제를 해결하기 위해, 24명의 참가자를 대상으로 OASST1 데이터셋의 LLM 생성 응답에 대한 안구 추적(ET) 데이터를 수집한 OASST-ETC라는 새로운 안구 추적 말뭉치를 제시합니다. 선호되는 응답과 선호되지 않는 응답 간의 구별되는 독서 패턴을 분석하고, 이를 합성 안구 추적 데이터와 비교합니다. 또한, 인간의 독서 측정값과 다양한 트랜스포머 기반 모델의 주의 패턴 간의 상관관계를 조사하여 선호되는 응답에서 더 강한 상관관계를 발견합니다. 이 연구는 LLM 평가에서 인간 인지 처리 연구를 위한 고유한 자원을 제공하며, 안구 추적 데이터를 정렬 방법에 통합하는 유망한 방향을 제시합니다. 데이터셋과 분석 코드는 공개적으로 이용 가능합니다.
