본 논문은 더 효과적인 보상 모델 도출을 위해 응답 시간 데이터를 인간 선호 학습 프레임워크에 통합하는 방법을 연구합니다. 바이너리 선호 데이터가 파운데이션 모델, 생성 AI 시스템 및 기타 대규모 모델의 미세 조정에 필수적인 반면, 사용자 의사 결정에 내재된 중요한 시간 정보는 대부분 활용되지 않고 있습니다. 본 연구는 응답 시간 정보를 바이너리 선택 데이터와 함께 통합하는 새로운 방법론을 제안하며, 응답 시간이 선호 강도에 대한 정보를 제공하는 Evidence Accumulation Drift Diffusion (EZ) 모델을 활용합니다. 우리는 보상 모델 학습을 위해 오라클 수렴 속도를 달성하는 Neyman-직교 손실 함수를 개발하여, 각 쿼리에 대한 예상 응답 시간이 미리 알려진 경우 달성할 수 있는 이론적 최적 속도와 일치시킵니다. 또한, 선형 보상 함수에 대해, 기존 선호 학습은 보상 크기에 따라 지수적으로 증가하는 오류율을 겪는다는 것을 이론적으로 분석했습니다. 반면, 응답 시간을 추가한 접근 방식은 이를 다항식 증가로 줄여 샘플 효율성을 크게 향상시켰습니다. 이러한 보장을 비모수적 보상 함수 공간으로 확장하여, 더 복잡하고 현실적인 보상 모델에 대한 수렴 속성을 확립했습니다. 마지막으로, 이미지에 대한 선호 학습 컨텍스트에서 이론적 발견 사항을 광범위한 실험을 통해 검증했습니다.
