본 논문은 대규모 언어 모델의 신뢰성 향상을 위해 외부 지식 소스와 통합하는 새로운 패러다임인 Retrieval Augmented Generation (RAG)의 효율적인 배포를 위한 종단 간 프레임워크인 Patchwork을 제시합니다. Patchwork는 사용자 정의 RAG 파이프라인 구현을 위한 유연한 인터페이스, 개별 RAG 구성 요소의 고유한 확장성 특성에 최적화된 분산 추론 시스템으로의 배포, 그리고 요청 부하 및 실행 진행 상황을 지속적으로 모니터링하여 전략적 요청 우선 순위 지정 및 리소스 자동 확장을 통해 SLO 위반을 최소화하는 온라인 스케줄링 메커니즘이라는 세 가지 핵심 혁신을 제공합니다. 실험 결과, Patchwork는 상용 대안보다 상당한 성능 향상을 제공하여 처리량을 48% 이상 향상시키고 동시에 SLO 위반을 약 24% 감소시켰음을 보여줍니다.
