CiteEval: Principle-Driven Citation Evaluation for Source Attribution
Created by
Haebom
저자
Yumo Xu, Peng Qi, Jifan Chen, Kunlun Liu, Rujun Han, Lan Liu, Bonan Min, Vittorio Castelli, Arshit Gupta, Zhiguo Wang
개요
본 논문은 인용문 평가의 새로운 프레임워크인 CiteEval과 이를 기반으로 구축된 다중 도메인 벤치마크 CiteBench를 제시합니다. 기존의 이진 또는 삼진 지원성 평가에 의존하는 NLI 기반 접근 방식의 한계를 극복하고, 인용 출처뿐 아니라 검색 컨텍스트, 사용자 질의, 생성 텍스트를 모두 고려하는 세밀한 인용 평가를 지향합니다. CiteEval-Auto는 CiteEval 프레임워크에 따라 개발된 모델 기반 지표 모음으로, 인간 판단과 높은 상관관계를 보이며 기존 지표보다 다면적인 인용 특성을 포착하는 우수한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
기존 NLI 기반 인용문 평가의 한계를 극복하는 새로운 프레임워크 CiteEval 제시.
◦
다양한 컨텍스트를 고려하는 세밀한 인용 평가 가능.
◦
고품질 인간 주석 데이터를 포함하는 다중 도메인 벤치마크 CiteBench 제공.
◦
인간 판단과 높은 상관관계를 보이는 효율적인 자동 평가 지표 CiteEval-Auto 개발.
