본 논문은 다양한 다차원 사용자 선호도에 맞춰 사전 훈련된 대규모 언어 모델(LLM)을 추론 단계에서 적응시키는 다목적 테스트 시간 정렬 문제를 다룹니다. 기존의 GenARM은 각 선호도 차원에 대해 독립적으로 자동 회귀 보상 모델(ARM)을 학습하고, 추론 시 사용자별 선호도 벡터를 기반으로 이들의 출력을 결합하는 방식으로 다목적 테스트 시간 정렬을 수행합니다. 하지만 이는 여러 개의 ARM이 필요하여 추론 비용이 증가하고, ARM의 개별 학습으로 인해 유도된 생성과 사용자 선호도 간의 불일치가 발생하는 단점이 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 모든 선호도 차원에 걸쳐 단일 통합 ARM을 학습하는 Preference-aware ARM (PARM)을 제안합니다. PARM은 선호도 벡터에 ARM을 조건화하기 위해 이중 선형 형태를 사용하는 Preference-Aware Bilinear Low-Rank Adaptation (PBLoRA)을 사용하여 추론 중 선호도 절충에 대한 정밀한 제어를 가능하게 합니다. 실험 결과, PARM은 추론 비용을 줄이고 기존 방법에 비해 선호도 벡터와의 정렬을 향상시키는 것으로 나타났습니다. 또한, PARM은 작은 PARM이 큰 고정된 LLM을 비용이 많이 드는 훈련 없이 안내할 수 있도록 weak-to-strong guidance를 가능하게 하여 제한된 컴퓨팅 리소스로 다목적 정렬을 가능하게 합니다. 코드는 https://github.com/Baijiong-Lin/PARM 에서 확인할 수 있습니다.
