본 논문은 AI 시스템의 개인화, 다원적 모델 정렬 및 계산 사회 과학을 위해 평가 작업에서 인간의 변동성을 모델링하는 방법을 제안합니다. 개인을 가치 프로파일(문맥 내 데모에서 압축된 기본 가치에 대한 자연어 설명)과 가치 프로파일 또는 기타 평가자 정보를 조건으로 평가를 추정하는 조정 가능한 디코더 모델을 사용하여 나타냅니다. 평가자 표현의 예측 정보를 측정하기 위해 정보 이론적 방법론을 도입합니다. 데모가 가장 많은 정보를 포함하고, 그 다음이 가치 프로파일, 그리고 인구 통계학적 정보임을 발견했습니다. 그러나 가치 프로파일은 압축된 자연어 형식으로 인해 검토 가능성, 해석 가능성 및 조정 가능성 측면에서 이점을 제공합니다. 가치 프로파일은 데모에서 유용한 정보를 효과적으로 압축합니다(정보 보존률 >70%). 또한, 유사하게 행동하는 개인을 식별하기 위해 가치 프로파일을 클러스터링하면 가장 예측력이 높은 인구 통계적 그룹보다 평가자 변동성을 더 잘 설명합니다. 테스트 세트 성능을 넘어, 디코더 모델이 의미론적 프로파일 차이에 따라 평가를 해석 가능하게 변경하고, 잘 보정되며, 주석자 집단을 시뮬레이션하여 인스턴스 수준의 불일치를 설명하는 데 도움이 됨을 보여줍니다. 이러한 결과는 가치 프로파일이 인구 통계 또는 그룹 정보를 넘어 개인의 변동성을 설명하는 새로운 예측 방식을 제공함을 보여줍니다.
