본 논문은 인간 피드백으로부터 강화 학습(RLHF)을 사용하여 대규모 언어 모델(LLM)을 인간의 가치에 맞추는 방법을 제시합니다. 기존 RLHF 접근 방식은 인간 선호도의 다차원적이고 분포적인 뉘앙스를 포착하는 데 어려움을 겪습니다. 단순히 보상 값을 프롬프트에 직접 주입하는 RiC와 같은 방법은 수치적 민감도 문제(예: LLM이 9.11과 9.8을 구분하지 못함)를 겪는 반면, MORLHF, Rewarded Soups, MODPO와 같은 대안은 여러 모델을 훈련하여 높은 계산 비용이 발생합니다. 본 논문에서는 이러한 한계를 극복하기 위해 유틸리티 조건부 다목적 정렬(UC-MOA)이라는 새로운 프레임워크를 제시합니다. UC-MOA는 다양한 엄격하게 증가하는 비선형 유틸리티 함수를 활용하여 사용자가 지정한 선호도를 기호 토큰으로 변환하고, 이를 단일 LLM을 조건화하는 데 사용합니다. 이러한 설계는 수치적 추론 문제를 완화할 뿐만 아니라 훈련 오버헤드를 크게 줄여, 우수한 Pareto 최적점과 복잡한 보상 차원에 걸친 강력한 정렬을 달성하는 모델을 생성합니다.
