Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Coverage-based Fairness in Multi-document Summarization

Created by
  • Haebom
Category
Empty

저자

Haoyuan Li, Yusen Zhang, Rui Zhang, Snigdha Chaturvedi

개요

본 논문은 다중 문서 요약(MDS)에서의 공정성 측정에 관한 연구입니다. 기존의 비례적 표현(Proportional Representation) 기반의 공정성 측정 방식은 문서 간 중복성과 말뭉치 수준의 불공정성을 고려하지 못하는 한계가 있습니다. 이에 본 논문에서는 문서의 사회적 속성 값에 따른 문서의 적용 범위를 기반으로 하는 새로운 요약 수준의 공정성 측정 방식인 'Equal Coverage'와 말뭉치 수준의 불공정성을 감지하기 위한 'Coverage Parity'를 제안합니다. 13개의 다양한 LLMs을 평가한 결과, Claude3-sonnet이 가장 공정한 모델로 나타났으며, 대부분의 LLMs이 특정 사회적 속성 값을 과대표하는 경향을 보였습니다. 제안된 측정 방식과 실험 결과는 GitHub에 공개되어 있습니다.

시사점, 한계점

•
시사점:
◦
다중 문서 요약에서의 공정성 평가를 위한 새로운 측정 기준인 Equal Coverage와 Coverage Parity 제시.
◦
기존 측정 방식의 한계점(문서 중복성 및 말뭉치 수준 불공정성 고려 부족)을 개선.
◦
다양한 LLMs의 공정성을 평가하고, 가장 공정한 모델을 제시 (Claude3-sonnet).
◦
LLMs의 사회적 속성 값 과대표 경향 발견.
◦
공개된 코드를 통해 재현성 확보 가능.
•
한계점:
◦
제안된 측정 방식의 일반화 가능성에 대한 추가 연구 필요.
◦
더 다양한 사회적 속성 값과 데이터셋에 대한 평가 필요.
◦
인간 평가에 대한 자세한 설명 부족.
👍
Made with Slashpage