본 논문은 사실적 근거에 LLM을 기반으로 하는 Retrieval-Augmented Generation (RAG) 시스템의 엄격한 평가를 위한 자동화된, 인간-정렬 에이전트 프레임워크인 RAGalyst를 소개합니다. RAGalyst는 소스 문서에서 고품질의 합성 질의응답 (QA) 데이터 세트를 생성하는 에이전트 파이프라인을 특징으로 하며, 데이터 충실도를 보장하기 위해 에이전트 필터링 단계를 통합합니다. 또한, 인간 주석과의 강한 상관관계를 달성하기 위해 프롬프트 최적화를 사용하여 Answer Correctness 및 Answerability와 같은 LLM-as-a-Judge 지표를 개선합니다. 군사 작전, 사이버 보안, 교량 공학의 세 가지 도메인에서 다양한 RAG 구성 요소를 평가한 결과, 성능은 문맥에 따라 크게 달라지며, 단일 임베딩 모델, LLM 또는 하이퍼파라미터 구성이 보편적으로 최적이지 않음을 발견했습니다.
