William Walden, Orion Weller, Laura Dietz, Bryan Li, Gabrielle Kaili-May Liu, Yu Hou, Eugene Yang
개요
Auto-ARGUE는 장문의 보고서 생성에 특화된 검색 증강 생성(RAG) 시스템을 평가하기 위한 LLM 기반 프레임워크입니다. TREC 2024 NeuCLIR 트랙의 보고서 생성 파일럿 태스크에 대한 Auto-ARGUE의 분석을 통해 인간의 판단과 높은 상관관계를 보임을 확인했습니다. 또한, Auto-ARGUE의 출력을 시각화하기 위한 웹 앱을 출시했습니다.