본 논문은 대규모 언어 모델의 메모리 제약 추론을 가속화하기 위해 예측 디코딩과 양자화를 통합하는 방법을 연구합니다. 예측 디코딩(EAGLE-2)은 한 번의 전달 과정에서 여러 토큰을 검증하여 메모리 대역폭 병목 현상을 완화하지만, 계산 비용이 증가합니다. 양자화는 가중치와 활성화를 낮은 비트 너비로 압축하여 메모리 사용량과 계산량을 줄입니다. 하지만, 4비트 가중치 양자화된 모델에서 EAGLE-2의 트리 스타일 예측 디코딩은 계산 오버헤드가 커져 메모리 이점이 감소하는 것을 발견했습니다. 따라서, 작은 모델을 중간 단계로 사용하여 트리 스타일 초안을 시퀀스 스타일 초안으로 변환하는 계층적 예측 디코딩 방식을 제안합니다. 이를 통해 4비트 가중치 Llama-3-70B 모델에서 2.78배의 속도 향상을 달성했습니다.
시사점, 한계점
•
시사점: 4비트 가중치 양자화 모델에서 예측 디코딩의 효율적인 적용을 위한 새로운 계층적 프레임워크를 제시하고, 실험적으로 성능 향상을 검증했습니다. 기존 방법보다 1.31배 향상된 속도를 달성하여 대규모 언어 모델 추론 가속화에 기여합니다.
•
한계점: 제안된 계층적 접근 방식은 추가적인 작은 모델을 필요로 하며, 이 모델의 설계 및 선택이 성능에 영향을 미칠 수 있습니다. 현재는 특정 양자화 방식(4비트 가중치 양자화)과 모델(Llama-3-70B)에 대한 실험 결과만 제시되어 일반화 가능성에 대한 추가 연구가 필요합니다. 다양한 하드웨어 플랫폼에 대한 성능 평가가 부족합니다.
