본 논문은 대규모 언어 모델 서빙 프레임워크에서 인스턴스 간의 부하 분산 및 자동 프로비저닝을 최적화하기 위해 수신 요청의 상황 정보를 활용하는 분산형 스케줄링 프레임워크인 Block을 제시합니다. 기존의 단일적이고 휴리스틱한 작업 스케줄러에 의존하는 모델 서빙 시스템과 달리, Block은 완전히 분산되고 상태 비저장이며 예측적인 스케줄링 시스템으로 작동하여 오버헤드가 낮고 안정적이며 확장 가능합니다. 호스트 구성, 응답 길이, 하드웨어 성능과 같은 LLM 추론의 결정적이고 예측 가능한 특성을 활용하여 정확하게 예측된 메트릭을 기반으로 스케줄링 결정을 내립니다. 12개의 GPU 클러스터에 대한 평가 결과, Block은 휴리스틱 스케줄러보다 훨씬 뛰어난 성능을 보여주며, 서빙 용량을 최대 16.7% 향상시키고 P99 지연 시간을 최대 49.5% 단축시킵니다. 이러한 성능 향상은 다양한 모델, 작업량 및 구성에서 일관되게 유지됩니다. 코드와 데이터는 오픈소스로 공개됩니다.
