본 논문은 대규모 언어 모델(LLM)과 외부 지식 데이터베이스 검색을 결합한 검색 증강 생성(RAG)의 효율적인 서빙을 위한 시스템 최적화 프레임워크인 RAGO를 제시합니다. RAG의 다양한 변형과 상이한 작업 부하 특성으로 인해 효율적인 RAG 서빙이 어려운 점을 해결하기 위해, RAG 알고리즘의 폭넓은 범위를 포착하는 구조적 추상화인 RAGSchema를 도입하고, 다양한 RAG 작업 부하를 분석하여 성능 변동성을 밝힙니다. RAGO는 이러한 변동성을 해결하고 다양한 성능 요구 사항을 충족하도록 설계되었습니다. 평가 결과, RAGO는 LLM 시스템 확장 기반 RAG 시스템에 비해 칩당 QPS를 최대 2배 향상시키고 첫 토큰 대기 시간을 55% 단축하는 것으로 나타났습니다.
