본 논문은 대규모 언어 모델(LLM)을 효율적으로 서비스하기 위한 엣지 기반 추론 프레임워크인 SpecEdge를 소개합니다. SpecEdge는 추측적 디코딩 방식을 활용하여 엣지 및 서버 GPU 간에 LLM 작업을 분할하고, 토큰 출력을 네트워크를 통해 교환합니다. SpecEdge는 사전 엣지 드래프팅을 통해 엣지 토큰 생성과 서버 검증을 중첩시키고, 파이프라인 인식 스케줄링을 통해 여러 사용자 요청을 인터리빙하여 서버 측 처리량을 증가시킵니다. 실험 결과, SpecEdge는 서버 처리량을 2.22배 향상시켜 전체 비용 효율성을 1.91배 개선하고, 토큰 간 지연 시간을 11.24% 감소시켰습니다.
