본 논문은 대규모 언어 모델(LLM)의 사후 훈련 과정에서 롤아웃 시간이 지배적인 문제를 해결하기 위해 SpecActor를 제안합니다. SpecActor는 작은 모델(빠른 경로)을 사용하여 토큰을 생성하고, 원래 모델로 생성된 출력을 병렬로 검증하는 투기적 디코딩 방식을 활용하여 빠른 롤아웃을 달성합니다. SpecActor는 대규모 배치 실행에 최적화된 동적 분리 투기 실행 방법과 롤아웃 진행 상황에 따라 다양한 드래프팅 방법을 선택하고 결합하는 동적 Best-of-N 투기 방법을 통해 투기적 롤아웃의 두 가지 근본적인 과제를 해결합니다. 그 결과, SpecActor는 일반적인 사후 훈련 기준보다 1.31.7배 빠르며, 투기적 디코딩을 무작위로 채택하는 것보다 1.31.5배 빠릅니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델의 롤아웃 속도를 향상시키는 효과적인 방법 제시
◦
GPU 계산 효율성을 극대화하는 동적 분리 투기 실행 방법 제안
◦
최적의 드래프팅 방법을 미리 알 필요 없이 투기 정확도를 향상시키는 동적 Best-of-N 투기 방법 제시
◦
기존 방법 대비 상당한 속도 향상 달성
•
한계점:
◦
논문에서 구체적인 모델 크기, 훈련 데이터, 하드웨어 설정 등 실험 환경에 대한 정보가 명확히 제시되지 않아, 다른 환경에서의 일반화 가능성에 대한 검증 필요
