Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Fair Summarization: Bridging Quality and Diversity in Extractive Summaries

Created by
  • Haebom
Category
Empty

저자

Sina Bagheri Nezhad, Sayan Bandyapadhyay, Ameeta Agrawal

개요

본 논문은 사용자 생성 콘텐츠의 다중 문서 요약에서 공정성을 확보하는 새로운 방법을 제안합니다. 기존 요약 방법들이 다양한 사회 집단의 공정한 대표성을 보장하지 못하는 문제를 해결하기 위해, 클러스터링 기반의 FairExtract와 GPT-3.5-turbo를 활용한 제약 조건 기반의 FairGPT라는 두 가지 새로운 방법을 제시합니다. 백인, 히스패닉, 아프리카계 미국인 방언 트윗으로 구성된 Divsumm 데이터셋을 사용하여 다양한 요약 품질 지표(SUPERT, BLANC, SummaQA, BARTScore, UniEval)와 공정성 지표 F를 통해 기존 방법들과 비교 평가하였습니다. 그 결과, FairExtract와 FairGPT가 요약 품질을 유지하면서 우수한 공정성을 달성함을 보여주며, 품질과 공정성을 통합한 복합 지표(SUPERT+F, BLANC+F 등)를 제시하여 두 목표 간의 상충 관계를 보다 정교하게 이해할 수 있도록 합니다. 소스 코드는 공개되어 있습니다.

시사점, 한계점

시사점:
사용자 생성 콘텐츠의 다중 문서 요약에서 공정성 문제 해결을 위한 효과적인 방법(FairExtract, FairGPT) 제시.
요약 품질과 공정성을 통합적으로 평가하는 새로운 평가 프레임워크 제안.
다양한 요약 품질 및 공정성 지표를 활용한 객관적인 성능 평가.
소스 코드 공개를 통한 재현성 및 확장성 확보.
한계점:
특정 데이터셋(Divsumm)에 대한 평가 결과이므로 다른 데이터셋으로의 일반화 가능성 검증 필요.
제시된 복합 지표의 최적 가중치 설정에 대한 추가 연구 필요.
GPT-3.5-turbo 의존으로 인한 비용 및 접근성 문제 존재 가능성.
다른 사회적 편향 요소들(성별, 연령 등)에 대한 공정성 고려는 추가 연구가 필요.
👍