Sign In

Exploring Iterative Controllable Summarization with Large Language Models

Created by
  • Haebom
Category
Empty

저자

Sangwon Ryu, Heejin Do, Daehee Kim, Hwanjo Yu, Dongwoo Kim, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok

개요

본 논문은 대규모 언어 모델(LLM)의 요약 능력, 특히 요약의 길이, 주제와 같은 속성 제어 가능성에 대한 연구를 다룹니다. 기존의 오류 평가 방식 대신 반복 평가 지표(실패율, 평균 반복 횟수)를 도입하여 LLM의 제어 가능성을 정밀하게 측정하고, 수치적 속성보다 언어적 속성 제어에 어려움을 겪는다는 점을 밝힙니다. 이러한 문제를 해결하기 위해, 초기 초안에서의 속성 불일치를 식별하고 이전 출력의 오류를 자체적으로 설명하도록 유도하는 '설명을 위한 가이드 프레임워크(GTE)'를 제안합니다. GTE는 모델이 불일치를 반영하여 원하는 속성을 만족하는 요약을 생성하며, 기존의 반복적 접근 방식보다 적은 반복 횟수로 효과적인 결과를 얻습니다.

시사점, 한계점

시사점:
LLM의 요약 속성 제어 가능성에 대한 정량적 평가 방법 제시 (반복 평가 지표 활용)
LLM이 수치적 속성보다 언어적 속성 제어에 어려움을 겪는다는 사실 발견
GTE 프레임워크를 통해 LLM의 요약 속성 제어 성능 향상 및 효율성 증대 가능성 제시
한계점:
GTE 프레임워크의 일반화 가능성 및 다양한 LLM 및 요약 과제에 대한 적용성 추가 연구 필요
제안된 반복 평가 지표의 한계 및 개선 방향에 대한 논의 부족
실험 데이터셋 및 설정의 제한으로 인한 결과의 일반화 가능성 제약
👍