Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CiteEval: Principle-Driven Citation Evaluation for Source Attribution

Created by
  • Haebom

저자

Yumo Xu, Peng Qi, Jifan Chen, Kunlun Liu, Rujun Han, Lan Liu, Bonan Min, Vittorio Castelli, Arshit Gupta, Zhiguo Wang

개요

본 논문은 인용문 평가의 새로운 프레임워크인 CiteEval과 이를 기반으로 구축된 다중 도메인 벤치마크 CiteBench를 제시합니다. 기존의 이진 또는 삼진 지원성 평가에 의존하는 NLI 기반 접근 방식의 한계를 극복하고, 인용 출처뿐 아니라 검색 컨텍스트, 사용자 질의, 생성 텍스트를 모두 고려하는 세밀한 인용 평가를 지향합니다. CiteEval-Auto는 CiteEval 프레임워크에 따라 개발된 모델 기반 지표 모음으로, 인간 판단과 높은 상관관계를 보이며 기존 지표보다 다면적인 인용 특성을 포착하는 우수한 성능을 보입니다.

시사점, 한계점

시사점:
기존 NLI 기반 인용문 평가의 한계를 극복하는 새로운 프레임워크 CiteEval 제시.
다양한 컨텍스트를 고려하는 세밀한 인용 평가 가능.
고품질 인간 주석 데이터를 포함하는 다중 도메인 벤치마크 CiteBench 제공.
인간 판단과 높은 상관관계를 보이는 효율적인 자동 평가 지표 CiteEval-Auto 개발.
다양한 시스템에서 CiteEval-Auto의 우수한 성능 검증.
한계점:
CiteBench의 다중 도메인 범위가 얼마나 포괄적인지에 대한 명확한 설명 부족.
CiteEval-Auto의 모델 기반 지표의 일반화 성능에 대한 추가적인 검증 필요.
특정 도메인이나 유형의 인용에 대한 편향 가능성 존재.
👍