Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning

Created by
  • Haebom
Category
Empty

저자

Kristin Qi, Youxiang Zhu, Xiaohui Liang

개요

본 논문은 커뮤니티 질의응답(CQA) 스레드에서 관점 구간 식별 및 관점 인식 요약을 포함하는 PerAnsSumm 공유 과제에 대한 접근 방식을 제시합니다. 구간 식별을 위해 세 개의 Transformer 모델을 평균화하여 개별 모델의 강점을 활용하는 앙상블 학습을 채택하여 테스트 데이터에서 82.91%의 F1 점수를 달성했습니다. 요약을 위해서는 주요 구문을 통합하고 정보를 안내하여 요약 생성을 관리 가능한 단계로 구조화하는 Chain-of-Thought(CoT) 프롬프팅 전략을 설계했습니다. 요약 품질을 더욱 향상시키기 위해 DSPy 프레임워크를 사용한 프롬프트 최적화와 Llama-3에 대한 감독 미세 조정(SFT)을 적용하여 모델을 도메인 특정 데이터에 적응시켰습니다. 검증 및 테스트 세트에 대한 실험 결과는 주요 구문과 안내가 포함된 구조화된 프롬프트가 참조와 일치하는 요약을 개선하는 반면, 프롬프트 최적화와 미세 조정을 결합하면 관련성 및 사실성 평가 지표가 모두 크게 향상됨을 보여줍니다.

시사점, 한계점

시사점:
앙상블 학습을 통한 효과적인 관점 구간 식별 방법 제시 (82.91% F1-score 달성).
Chain-of-Thought 프롬프팅 전략과 주요 구문 활용을 통한 구조화된 요약 생성.
프롬프트 최적화 및 감독 미세 조정을 통한 요약 품질 향상 (관련성 및 사실성 향상).
한계점:
특정 CQA 데이터셋에 대한 성능 평가로 일반화 가능성에 대한 추가 연구 필요.
사용된 Transformer 모델 및 Llama-3 모델의 특성에 대한 자세한 설명 부족.
프롬프트 최적화 및 미세 조정 과정에 대한 상세한 설명 부족.
👍