본 논문은 대규모 언어 모델(LLM) 생성 속도를 높이기 위한 유망한 방법으로 떠오른 추측적 디코딩(speculative decoding)에 대해 다룹니다. 기존의 추측적 디코딩 방법들은 외부 드래프터(external drafter)의 유연성과 자체 추측 방법(self-speculation)의 속도 사이에서 절충해야 하는 문제점을 가지고 있습니다. 본 논문에서는 최첨단 상태 공간 모델(SSM)인 Mamba를 기반으로 한 새로운 드래프터를 제시합니다. SSM의 선형 구조를 활용하여 기존 Transformer 기반 방법의 이차 복잡성을 피함으로써 더 빠른 드래프팅과 낮은 메모리 사용량을 달성하면서 다양한 타겟 모델에 적용 가능한 유연성을 유지합니다. 또한, 고품질 드래프트 후보를 생성하기 위한 새로운 테스트 시간 트리 탐색 알고리즘을 통해 효율성을 더욱 향상시켰습니다. 실험 결과, Mamba 기반 드래프터는 기존 외부 드래프팅 방법보다 성능이 우수하며, 메모리 사용량이 적으면서 모델 간 적응성을 유지하는 최첨단 자체 추측 방법과도 비슷한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
Mamba 기반 드래프터는 기존 방법들의 한계를 극복하여 LLM 생성 속도를 향상시킬 수 있습니다.
◦
SSM의 선형 구조를 활용하여 계산 복잡도와 메모리 사용량을 줄였습니다.
◦
다양한 타겟 모델에 적용 가능한 유연성을 제공합니다.
◦
새로운 테스트 시간 트리 탐색 알고리즘을 통해 드래프트 품질을 향상시켰습니다.
•
한계점:
◦
본 논문에서 제시된 방법의 성능은 특정 데이터셋과 모델에 대한 실험 결과에 기반하며, 다른 환경에서는 성능이 달라질 수 있습니다.
