대규모 언어 모델(LLM)의 광범위한 채택으로 고품질 및 맞춤형 출력에 대한 요구가 증가했지만, 기존의 정렬 방식은 대규모 사전 훈련 모델을 재훈련해야 하는 어려움이 있었다. 본 논문에서는 이러한 한계를 해결하기 위해 중요도 샘플링의 일종으로 정렬 프로세스를 공식화하는 새로운 잔차 정렬 모델(RAM)을 제안한다. 이 프레임워크에서, 정렬되지 않은 상위 모델은 제안 분포 역할을 하고, 정렬 프로세스는 중요도 가중치의 추정치 역할을 하는 자동 회귀 정렬 모듈을 기반으로 한 2차 샘플링으로 구성된다. RAM은 정렬 모듈을 대상 정렬 모델에서 분리하여 유연성과 확장성을 향상시킨다. 또한, 제안 모듈과 독립적으로 작동하는 정렬 모듈에 대한 효율적인 시퀀스 레벨 훈련 전략과, 유사한 방법에서 흔히 발생하는 첫 번째 토큰 지연 문제를 해결하기 위한 반복 토큰 레벨 디코딩을 사용한 리샘플링 알고리즘을 개발했다. 다양한 작업에서 두 개의 주요 오픈 소스 LLM에 대한 실험 평가 결과, 제안된 접근 방식이 기준 모델보다 일관되게 우수한 성능을 보였다.
