본 논문은 대규모 언어 모델(LLM)의 성능 향상을 위해 Best-of-N 샘플링 기법을 효율적으로 개선하는 SWIFT(Simple Weighted Intrinsic Feedback Technique)를 제안합니다. 기존의 텍스트 기반 보상 모델의 높은 계산 비용 문제를 해결하기 위해, 텍스트 대신 LLM의 은닉 상태를 활용하여 경량화된 보상 모델을 구축합니다. 토큰 단위로 작동하며 선형 계층만으로 구성된 SWIFT는 기존 방법보다 훨씬 적은 매개변수(0.005% 미만)와 샘플만으로도 우수한 성능을 보입니다. 또한 확장성이 뛰어나고, 로짓을 통해 일부 폐쇄형 모델에도 적용 가능하며, 기존 보상 모델과 결합하여 추가적인 성능 향상을 얻을 수 있다는 장점을 지닙니다.
