본 논문은 대규모 언어 모델(LLM) 서빙 시스템에서 GPU 메모리 부족으로 인한 지연 문제를 해결하기 위한 새로운 접근 방식을 제안합니다. 기존의 KV 캐시 중심 접근 방식은 메모리 부족 시 캐시 삭제, 마이그레이션 또는 스와핑과 같은 방법을 사용하지만, 여전히 요청 대기열이 발생하여 성능 저하가 발생하는 문제가 있습니다. 본 논문에서는 모델 파라미터의 중복을 활용하여, 메모리 부족 시 중복된 파라미터를 선택적으로 삭제하여 즉시 메모리를 확보하는 파라미터 중심 접근 방식인 {\sys}를 제안합니다. 파이프라인 병렬 처리를 통해 완전한 파라미터 복사본을 가진 GPU에서 요청을 처리하고, 불필요한 협업 없이 적절한 파라미터 삭제 계획을 수립합니다. 실험 결과, {\sys}는 기존 시스템(Llumnix, vLLM, InferCept)에 비해 응답 시간 지연을 최대 72.2배까지 감소시키는 것을 보여줍니다.
