본 논문은 대규모 언어 모델(LLM)의 추론 효율을 향상시키기 위한 새로운 프레임워크인 Reward-Guided Speculative Decoding (RSD)를 제안합니다. RSD는 경량의 드래프트 모델과 더 강력한 타겟 모델을 결합하여, 기존의 비편향적인 추측적 디코딩 방법과 달리 높은 보상을 받는 출력을 우선시하는 제어된 편향을 통합합니다. 중간 디코딩 단계를 평가하고 타겟 모델을 호출할지 여부를 동적으로 결정하는 프로세스 보상 모델을 사용하여 계산 비용과 출력 품질 간의 균형을 최적화합니다. 이론적으로 임계값 기반 혼합 전략이 자원 활용과 성능 간의 최적의 균형을 달성함을 보여줍니다. 올림피아드 수준의 과제를 포함한 어려운 추론 벤치마크에 대한 광범위한 평가를 통해 RSD가 타겟 모델만으로 디코딩하는 것보다 상당한 효율성 향상(최대 4.4배 적은 FLOPs)을 제공하는 동시에 평균적으로 병렬 디코딩 방법보다 상당히 높은 정확도(최대 +3.5)를 달성함을 보여줍니다. 이러한 결과는 RSD가 자원 집약적인 시나리오에서 LLM을 배포하기 위한 강력하고 비용 효율적인 접근 방식임을 강조합니다. 코드는 https://github.com/BaohaoLiao/RSD 에서 확인할 수 있습니다.
