본 논문은 기초 모델 및 추천 시스템과 같은 시스템 개발에서 중요한 문제로 부상한 AI 정렬(AI alignment) 문제, 즉 AI 시스템이 인간의 가치에 따라 행동하도록 하는 문제를 다룬다. 현재 주류 접근 방식인 인간 피드백 강화 학습(RLHF)은 다양한 인간의 선호도를 종합하는 데 이론적 한계를 가지고 있다. 본 논문은 사회 선택 이론의 틀을 활용하여 선호도를 종합하지만, AI의 다차원적 응용에는 적합하지 않다는 점을 지적한다. 최근 발표된 항아리 과정(urn process)에 대한 통찰력을 활용하여 사용자의 컨텍스트에 적응하고 콘도르세 일치(Condorcet-consistent) 해법인 최대 복권(maximal lottery)의 좋은 특성을 계승하는 선호도 집계 전략을 제시한다.
