본 논문은 사용자의 다양한 가치와 요구를 고려하지 않는 기존의 획일적인 LLM 정렬 방식의 한계를 극복하기 위해, LLM의 확장 가능한 개인 맞춤형 정렬을 위한 포괄적인 프레임워크를 제시합니다. 심리적 및 행동적 차원을 특징으로 하는 체계적인 선호도 공간과 다양한 페르소나 표현을 확립하여 실제 시나리오에서 강력한 선호도 추론을 수행합니다. 130만 개 이상의 개인화된 선호도 예시로 구성된 대규모 데이터셋 AlignX를 소개하고, 페르소나 표현을 직접 조건으로 하는 컨텍스트 내 정렬(in-context alignment)과 중간 선호도 분포를 모델링하는 선호도 연결 정렬(preference-bridged alignment)이라는 두 가지 상호 보완적인 정렬 방식을 개발합니다. 실험 결과, 기존 방법보다 평균 17.06%의 정확도 향상을 보이며, 새로운 선호도에 대한 강력한 적응력, 제한된 사용자 데이터에 대한 견고성, 그리고 정밀한 선호도 제어 기능을 보여줍니다.
