Distributed Speculative Inference (DSI): Speculation Parallelism for Provably Faster Lossless Language Model Inference
Created by
Haebom
Category
Empty
저자
Nadav Timor, Jonathan Mamou, Daniel Korat, Moshe Berchansky, Oren Pereg, Moshe Wasserblat, Tomer Galanti, Michal Gordon, David Harel
개요
본 논문은 분산 추측적 추론(DSI)이라는 새로운 추론 알고리즘을 제시합니다. DSI는 기존의 추측적 추론(SI) 및 표준 자기회귀 추론보다 증명 가능하게 빠릅니다. 다른 SI 알고리즘과 마찬가지로 DSI는 사전 훈련된 언어 모델(LM)에서 작동하며, 훈련이나 구조 변경이 필요 없고, 목표 분포를 유지합니다. 기존 SI 연구는 비-SI보다 경험적으로 빠르다는 것을 보여주었지만, 실제로는 종종 이용할 수 없는 충분히 빠르고 정확한 초안 작성기(drafter)에 의존합니다. 본 논문은 초안 작성기가 너무 느리거나 부정확한 경우 SI가 비-SI보다 느릴 수 있는 격차를 확인하고, 어떤 초안 작성기를 사용하더라도 DSI가 SI와 비-SI보다 빠르다는 것을 증명하여 이 격차를 해소합니다. 따라서 DSI는 SI보다 빠를 뿐만 아니라 SI가 실패하는 LM의 가속화도 가능하게 합니다. DSI는 시간적으로 겹치는 목표 및 초안 작성기 인스턴스를 조율하기 위해 새로운 유형의 작업 병렬 처리인 추측 병렬 처리(SP)를 활용하여 계산 자원과 지연 시간 사이의 새로운 기본적인 절충안을 확립합니다. 시뮬레이션 결과, DSI는 다양한 기성 LM 및 작업에 대해 단일 노드 설정에서 SI보다 1.29~1.92배 빠른 것으로 나타났습니다. 모든 코드는 오픈 소스로 공개됩니다.
시사점, 한계점
•
시사점:
◦
분산 추측적 추론(DSI) 알고리즘을 통해 기존 추측적 추론(SI) 및 표준 자기회귀 추론보다 빠른 추론 속도를 달성할 수 있음을 증명.
◦
SI가 느리거나 부정확한 초안 작성기로 인해 실패하는 경우에도 LM의 가속화를 가능하게 함.
◦
추측 병렬 처리(SP)라는 새로운 작업 병렬 처리 기법을 통해 계산 자원과 지연 시간 사이의 효율적인 절충안을 제시.
◦
다양한 기성 LM 및 작업에서 실질적인 속도 향상을 실험적으로 확인.
◦
모든 코드를 오픈 소스로 공개하여 연구의 재현성 및 확장성을 높임.
•
한계점:
◦
현재는 단일 노드 설정에서의 성능 평가만 진행되었으며, 다중 노드 환경으로 확장했을 때의 성능은 추가 연구가 필요.
