본 논문은 혼합 전문가(MoE) 모델에서의 추측적 디코딩(SD)의 효율성을 연구합니다. 기존 연구와 달리, 중간 배치 크기에서 MoE 모델이 밀집 모델보다 SD로부터 더 큰 성능 향상을 얻는다는 것을 보여줍니다. 또한 MoE 모델의 스파스성이 증가할수록 SD의 효과적인 배치 크기 범위가 넓어짐을 발견했습니다. SD의 성능 저하 원인을 분석하기 위해 이론적 분석에 기반한 새로운 지표인 '타겟 효율성'을 제안하고, 이를 통해 시스템 병목 현상을 파악하고 SD 가속화를 더욱 포괄적으로 이해할 수 있도록 합니다. 실험 결과, Qwen2-57B-A14B 모델에서 중간 배치 크기에서 최대 2.29배의 속도 향상을 달성했습니다.
시사점, 한계점
•
시사점:
◦
중간 배치 크기에서 MoE 모델은 밀집 모델보다 SD로부터 더 큰 속도 향상을 얻을 수 있음을 밝혔습니다.
◦
MoE 모델의 스파스성이 증가함에 따라 SD의 효과적인 배치 크기 범위가 확장됩니다.
◦
'타겟 효율성'이라는 새로운 지표를 제시하여 SD 가속화의 제약 조건을 더욱 포괄적으로 이해하고 시스템 병목 현상을 파악할 수 있도록 했습니다.
◦
개인 정보 보호를 중시하는 환경에서 MoE 추론 속도를 높이는 새로운 방법을 제시했습니다.
•
한계점:
◦
본 연구는 특정 모델과 하드웨어 환경에서의 실험 결과에 기반하고 있으므로, 다른 모델이나 환경에서는 결과가 다를 수 있습니다.
◦
'타겟 효율성' 지표는 새로운 지표이므로, 추가적인 연구를 통해 그 유용성과 일반화 가능성을 더욱 검증할 필요가 있습니다.
◦
중간 배치 크기에 집중하였으므로, 다른 배치 크기에서의 SD 효과에 대한 추가적인 연구가 필요합니다.
