Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PreSumm: Predicting Summarization Performance Without Summarizing

Created by
  • Haebom

저자

Steven Koniaev, Ori Ernst, Jackie Chi Kit Cheung

개요

본 논문은 자동 요약 모델의 성능 차이 원인을 분석하고, 요약 성능 예측을 위한 새로운 과제인 PreSumm을 제안합니다. 기존 연구들이 주로 요약 모델 자체에 집중한 반면, 본 논문은 문서 특성이 요약 성능에 미치는 영향을 분석합니다. 다양한 요약 시스템에서 일관된 요약 품질을 보이는 문서의 특징을 분석하여, 요약을 생성하지 않고도 문서의 요약 성능을 예측할 수 있음을 보여줍니다. PreSumm 점수가 낮은 문서는 응집성 문제, 복잡한 내용, 명확한 주제 부재 등의 특징을 가지는 것으로 나타났습니다. 또한, PreSumm은 수동 요약이 필요한 문서 식별 및 데이터셋의 잡음 제거 등 실용적인 활용 가능성을 보여줍니다.

시사점, 한계점

시사점:
문서 특성이 요약 성능에 중요한 영향을 미친다는 것을 밝힘.
요약 생성 없이 문서의 요약 성능을 예측하는 PreSumm 과제 제안.
PreSumm을 활용한 하이브리드 요약 및 데이터셋 개선 방안 제시.
저품질 문서의 특징(응집성 부족, 복잡한 내용, 주제 부재 등)을 규명.
한계점:
PreSumm의 예측 정확도 및 일반화 성능에 대한 추가적인 분석 필요.
다양한 유형의 문서에 대한 PreSumm의 성능 평가 필요.
PreSumm을 활용한 실제 요약 시스템 개선 효과에 대한 추가적인 검증 필요.
👍