본 논문은 대규모 언어 모델 서빙 프레임워크에서 인스턴스 간의 부하 분산과 자동 프로비저닝을 최적화하기 위해 수신 요청의 상황 정보를 활용하는 분산형 스케줄링 프레임워크인 Block을 제시합니다. 기존의 단일적이고 휴리스틱한 작업 스케줄러에 의존하는 모델 서빙 시스템과 달리, Block은 완전히 분산되고, 상태 비저장이며, 예측적인 스케줄링 시스템으로 작동하여 오버헤드를 줄이고 신뢰성과 확장성을 높입니다. 호스트 구성, 응답 길이, 하드웨어 성능과 같은 LLM 추론의 결정적이고 예측 가능한 특성을 활용하여 정확하게 예측된 지표를 기반으로 스케줄링 결정을 내립니다. 12개의 GPU 클러스터에 대한 평가 결과, Block은 휴리스틱 스케줄러보다 성능이 훨씬 뛰어나 서빙 용량을 최대 16.7% 향상시키고 P99 지연 시간을 최대 49.5% 단축시키는 것으로 나타났습니다. 이러한 성능 향상은 다양한 모델, 워크로드 및 구성에서 일관되게 유지됩니다. 코드와 데이터는 오픈소스로 공개됩니다.
