본 논문은 생성형 에이전트의 행동을 복잡한 인간의 가치와 일치시키는 문제를 다룬다. 기존 접근 방식은 인간의 의도를 스칼라 보상으로 단순화하는 반면, 본 논문은 인간 피드백의 다면적인 특성을 고려하여 선호도 기반 다목적 역강화학습(MO-IRL)에 대한 이론적 틀을 제시한다. 인간의 선호도를 잠재적인 벡터 값 보상 함수로 모델링하고, 노이즈가 있는 선호도 질의에서 파레토 최적 보상 표현을 복구하는 문제를 공식화하며, 기저 다목적 구조를 식별하기 위한 조건을 설정한다. 파레토 프런트의 ε-근사값을 복구하기 위한 엄격한 샘플 복잡도 경계를 도출하고, 이 다목적 설정에서의 최적이 아닌 것을 정량화하기 위한 후회 공식을 제시한다. 또한, 선호도로 추론된 보상 콘을 사용한 정책 최적화를 위한 증명 가능하게 수렴하는 알고리즘을 제안한다. 이 결과는 실용적인 정렬 기술과 이론적 보장 간의 간극을 해소하여 고차원 및 가치 다원주의 환경에서 정렬된 행동을 학습하기 위한 원칙적인 기반을 제공한다.
