본 논문은 Retrieval-Augmented Generation (RAG) 파이프라인의 효율적인 구성을 위한 새로운 프레임워크인 syftr을 제안합니다. RAG 파이프라인은 대규모 언어 모델(LLM)을 독점적이거나 동적인 데이터에 적용하는 데 중추적인 역할을 하지만, 벡터 데이터베이스, 임베딩 모델, 텍스트 분할기, 검색기, LLM 등 다양한 모듈의 선택과 조정이 복잡합니다. 특히, 에이전트 기반 패러다임의 등장으로 검증기, 재작성기, 재순위 지정기 등의 모듈이 추가되면서 성능 최적화의 어려움이 증가하고 있습니다. syftr은 베이지안 최적화를 사용하여 작업 정확도와 비용을 동시에 최적화하는 파레토 최적 흐름을 찾아내며, 독창적인 조기 종료 메커니즘을 통해 비효율적인 후보를 제거하여 효율성을 높입니다. 실험 결과, syftr은 여러 RAG 벤치마크에서 평균적으로 약 9배 저렴한 흐름을 찾으면서 파레토 최적 경계에서 가장 정확한 흐름의 정확도를 대부분 유지했습니다. 또한, 새로운 모듈 통합이 용이하여 고성능 생성 AI 파이프라인을 더욱 쉽고 빠르게 구현할 수 있습니다.
