본 논문은 대규모 언어 모델(LLM)의 정렬을 위한 새로운 알고리즘인 NUDGING을 제안합니다. 기존의 LLM 정렬 방법은 기본 모델마다 새롭게 정렬된 버전을 학습해야 하므로 상당한 계산 비용이 발생하지만, NUDGING은 학습 없이 추론 시 소규모의 정렬된 모델을 사용하여 임의의 기본 모델을 정렬합니다. NUDGING은 정렬이 주로 소수의 스타일 토큰(예: 담화 마커)에 대한 모델의 행동을 변경한다는 최근 연구 결과에 착안하여, 기본 모델의 불확실성이 높을 때 소규모 정렬 모델이 생성하는 'nudging token'으로 기본 모델의 출력을 안내하는 방식으로 작동합니다. 다양한 오픈 명령어 작업에 걸쳐 3가지 모델 계열을 평가한 결과, 7배에서 14배 더 작은 정렬된 모델로 큰 기본 모델을 NUDGING하는 것만으로도 대규모 정렬 모델과 비슷하거나 때로는 능가하는 제로샷 성능을 달성했습니다. 토큰 수준에서 작동하기 때문에 모델 계열 간의 즉각적인 협업도 가능합니다.
