본 논문은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 새로운 방법인 Iterative Reweight-then-Optimize (IRO)를 제시합니다. 기존의 RLHF나 DPO와 달리 모델 파라미터를 직접 수정하지 않고, 강화학습 기반의 보상 함수를 이용하여 테스트 시간에 모델 출력의 질을 향상시킵니다. IRO는 기본 모델의 출력 후보들을 생성하고, 가치 함수를 이용하여 재샘플링하고, 새로운 가치 함수를 학습하는 과정을 반복적으로 수행합니다. 테스트 시간에는 학습된 가치 함수들을 이용하여 탐색 기반 최적화 과정을 통해 기본 모델의 생성을 안내합니다. 이는 모델 가중치에 접근할 수 없더라도 사용자 자신의 데이터셋에 모델을 맞출 수 있도록 합니다.
