Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
Created by
Haebom
Category
Empty
저자
Swati Rallapalli, Shannon Gallagher, Andrew O. Mellinger, Jasmine Ratchford, Anusha Sinha, Tyler Brooks, William R. Nichols, Nick Winski, Bryan Brown
개요
본 논문은 정부 문서, 뉴스, 정보 보고서 등의 보고서 요약을 위한 대규모 언어 모델(LLM)의 미세 조정 효과를 연구합니다. 정부 문서와 같이 정답 요약이 없는 경우와 제한된 컴퓨팅 자원(1~2개의 A100 GPU)으로 인해 현장에서 계산을 수행해야 하는 어려움을 가진 특정 응용 환경에 초점을 맞춥니다. 두 가지 미세 조정 방법을 통해 현장에서의 LLM 미세 조정 가능성과 요약 품질 평가 지표를 확인하고, 미세 조정이 요약 품질 향상 및 잘못된 요약 감소에 기여하는 경향을 발견했습니다.
시사점, 한계점
•
시사점: 제한된 자원 환경에서도 LLM 미세 조정을 통해 보고서 요약의 질을 향상시킬 수 있음을 보여줍니다. 미세 조정은 요약 품질 개선뿐 아니라 잘못된 요약 발생 감소에도 효과적임을 확인했습니다. 현실적인 제약 조건 하에서 LLM 활용 가능성을 제시합니다.
•
한계점: 정답 요약이 없는 경우에 대한 평가 지표의 한계가 존재할 수 있습니다. 사용된 GPU의 수가 제한적이어서 다른 컴퓨팅 환경에서는 결과가 다를 수 있습니다. 실험에 사용된 데이터셋의 특성에 따라 일반화 가능성에 한계가 있을 수 있습니다.
