본 논문은 대규모 언어 모델(LLM)과 외부 지식 데이터베이스 검색을 결합하는 검색 증강 생성(RAG)의 효율적인 서빙에 대한 연구를 다룬다. 다양한 RAG 변형과 상이한 작업 부하 특성으로 인해 효율적인 RAG 서빙이 어려움을 겪고 있는 현실을 고려하여, 본 논문에서는 RAG 알고리즘의 폭넓은 범위를 포착하는 구조적 추상화인 RAGSchema를 제시하고, 다양한 RAG 작업 부하를 분석하여 성능 변동성을 밝힌다. 또한 이러한 변동성을 해결하고 다양한 성능 요구사항을 충족하기 위해 효율적인 RAG 서빙을 위한 시스템 최적화 프레임워크인 RAGO를 제안한다. 실험 결과, RAGO는 LLM 시스템 확장 기반 RAG 시스템에 비해 칩당 QPS를 최대 2배 향상시키고 첫 토큰 지연 시간을 55% 단축시키는 것으로 나타났다.
