Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding

Created by
  • Haebom

저자

Melanie Subbiah, Akankshya Mishra, Grace Kim, Liyan Tang, Greg Durrett, Kathleen McKeown

개요

본 논문은 주장의 출처 문서에 대한 충실성을 판단하는 문제를 다룬다. 기존의 이진 분류 방식(지지/미지지)은 모호한 주장에 대한 판단의 객관성을 떨어뜨린다는 한계를 지닌다. 따라서 본 논문에서는 요약문에 대한 LLM 기반 편집을 통해 주장의 모호성을 평가하는 새로운 지표인 Ambiguity Rewrite Metric (ARM)을 제시한다. ARM은 요약문이 명확해지도록 편집하는 데 필요한 정도를 측정하여 주장의 충실성을 평가하며, 이진 분류보다 풍부한 피드백을 제공한다. 특히 모호성이 높은 서술 요약 분야에 초점을 맞춰, ARM이 평가자 간의 합의도를 21% 향상시킨다는 것을 실험적으로 보여준다.

시사점, 한계점

시사점:
LLM 기반 편집을 활용하여 주장의 충실성 평가에 대한 새로운 관점 제시.
모호한 주장에 대한 보다 정교하고 객관적인 평가 가능.
기존 이진 분류 방식의 한계 극복 및 평가자 간 합의도 향상.
서술 요약 분야에서의 주장 충실성 평가 개선에 기여.
한계점:
ARM의 성능은 사용되는 LLM 및 편집 전략에 의존적일 수 있음.
모든 유형의 주장에 대해 동일한 성능을 보장할 수 없음.
LLM의 편향성이 ARM의 결과에 영향을 미칠 가능성 존재.
객관적인 기준을 바탕으로 한 ARM의 신뢰성 검증이 필요.
👍