EncouRAGe는 대규모 언어 모델(LLM)과 임베딩 모델을 활용한 검색 증강 생성(RAG) 시스템의 개발 및 평가를 간소화하기 위해 설계된 포괄적인 파이썬 프레임워크입니다. Type Manifest, RAG Factory, Inference, Vector Store, Metrics의 5가지 모듈식 확장 가능한 구성 요소로 구성되어 유연한 실험과 확장 가능한 개발을 용이하게 합니다. 이 프레임워크는 과학적 재현성, 다양한 평가 지표 및 로컬 배포를 강조하여 연구자가 RAG 워크플로우 내에서 데이터 세트를 효율적으로 평가할 수 있도록 합니다. 본 논문에서는 구현 세부 정보와 25k QA 쌍 및 51k 이상의 문서를 포함한 여러 벤치마크 데이터 세트에 대한 광범위한 평가를 제시합니다. RAG는 Oracle Context에 비해 여전히 성능이 떨어지는 것으로 나타났으며, Hybrid BM25가 4개의 모든 데이터 세트에서 일관되게 최고의 결과를 달성했습니다. 재순위화의 효과를 추가로 조사했으며, 응답 지연 시간이 길어지는 것과 함께 약간의 성능 향상만 관찰했습니다.
