ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor
Created by
Haebom
저자
Seungbeom Choi, Jeonghoe Goo, Eunjoo Jeon, Mingyu Yang, Minsung Jang
개요
본 논문은 대규모 언어 모델(LLM)의 추론 작업을 효율적으로 관리하기 위해 반복적 최단 잔여 시간 우선(ISRTF) 스케줄러를 특징으로 하는 서빙 시스템 ELIS를 제안합니다. 기존 LLM 서빙 시스템은 선입선출(FIFO) 스케줄링 전략을 사용하는 경우가 많아 "헤드-오브-라인 블로킹" 문제가 발생할 수 있습니다. 이를 극복하기 위해 LLM 추론 시간을 예측하고 최단 작업 우선 스케줄링 전략을 적용해야 합니다. 그러나 LLM의 자기회귀적 특성으로 인해 추론 지연 시간을 예측하는 것이 어렵습니다. ELIS는 최첨단 인코더 기반 모델인 BGE 모델을 사용하여 LLM에 대한 응답 길이 예측기를 훈련함으로써 이 문제를 해결합니다. 또한 기존 LLM 반복 배치에 맞춰 최단 잔여 시간 우선 전략을 최적화한 ISRTF 스케줄링 전략을 고안했습니다. 실제 환경에서의 성능을 평가하기 위해 실제 사용자 LLM 서빙 추적 레코드 연구를 기반으로 요청 스트림을 시뮬레이션했습니다. 더 나아가 ELIS를 Kubernetes 기반 클라우드 네이티브 스케줄러 시스템으로 구현하여 실제 환경에서 성능을 평가했습니다. 실험 결과 ISRTF가 평균 작업 완료 시간을 최대 19.6% 단축하는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
LLM 서빙 시스템의 효율성을 향상시키는 새로운 스케줄링 전략(ISRTF) 제시
◦
BGE 모델을 이용한 응답 길이 예측을 통해 추론 시간 예측의 정확도 향상
◦
실제 환경 기반 시뮬레이션 및 Kubernetes 구현을 통한 실용적인 성능 검증
◦
평균 작업 완료 시간 최대 19.6% 단축 효과 확인
•
한계점:
◦
BGE 모델의 성능에 의존적이며, 모델의 정확도가 ISRTF 스케줄러의 효율성에 직접적인 영향을 미침
◦
실제 사용자 LLM 서빙 추적 레코드 기반 시뮬레이션이므로, 실제 환경과의 차이 존재 가능성
