본 논문은 인간 피드백으로부터 강화 학습(RLHF)을 통해 대규모 언어 모델(LLM)을 인간의 가치와 정렬하는 기존 방법들의 한계를 극복하는 새로운 프레임워크인 유틸리티 조건부 다목표 정렬(UC-MOA)을 제시한다. 기존 방법들은 인간 선호도의 다차원적이고 분포적인 뉘앙스를 포착하는 데 어려움을 겪고, 단순한 보상 값을 프롬프트에 직접 주입하는 방법은 수치적 민감도 문제를 야기하며, 여러 모델을 훈련하는 방법은 높은 계산 비용을 초래한다. UC-MOA는 사용자의 선호도를 기호 토큰으로 변환하는 다양한 엄격히 증가하는 비선형 유틸리티 함수를 활용하여 단일 LLM을 조건화함으로써 이러한 문제점들을 해결한다. 이를 통해 수치적 추론 과제를 완화하고 훈련 오버헤드를 크게 줄여, 복잡한 보상 차원에서 우수한 파레토 프런트와 견고한 정렬을 달성하는 모델을 생성한다.
