SurGE: A Benchmark and Evaluation Framework for Scientific Survey Generation
Created by
Haebom
저자
Weihang Su, Anzhe Xie, Qingyao Ai, Jianming Long, Jiaxin Mao, Ziyi Ye, Yiqun Liu
개요
학술 문헌의 급증으로 인해 과학적 조사를 수동으로 생성하는 것은 점점 더 불가능해지고 있습니다. 대규모 언어 모델이 이 프로세스를 자동화하는 데 유망하지만, 표준화된 벤치마크와 평가 프로토콜의 부재로 인해 이 분야의 발전이 저해되고 있습니다. 이러한 중요한 격차를 해소하기 위해, 컴퓨터 과학 분야의 과학적 조사 생성을 위한 새로운 벤치마크인 SurGE (Survey Generation Evaluation)를 소개합니다. SurGE는 (1) 각 주제 설명, 전문가가 작성한 조사 및 인용된 전체 참고 문헌 세트를 포함하는 테스트 인스턴스 모음과 (2) 100만 개 이상의 논문으로 구성된 대규모 학술 자료로 구성됩니다. 또한, 포괄성, 인용 정확도, 구조적 구성 및 내용 품질의 네 가지 차원에서 생성된 조사의 품질을 측정하는 자동화된 평가 프레임워크를 제안합니다. 다양한 LLM 기반 방법론에 대한 평가는 상당한 성능 격차를 보여, 고급 에이전트 프레임워크조차 조사 생성의 복잡성에 어려움을 겪고 있으며, 이 분야의 향후 연구의 필요성을 강조합니다. 모든 코드, 데이터 및 모델을 https://github.com/oneal2000/SurGE에서 오픈 소스로 제공합니다.
시사점, 한계점
•
시사점:
◦
컴퓨터 과학 분야의 과학적 조사 생성을 위한 새로운 벤치마크인 SurGE를 제시하여 연구의 객관적인 평가 기반 마련
◦
자동화된 평가 프레임워크를 제안하여 조사의 품질을 체계적으로 측정 가능
◦
다양한 LLM 기반 방법론의 성능 평가를 통해, 현존하는 기술의 한계 및 향후 연구 방향 제시
◦
모든 코드, 데이터 및 모델을 오픈 소스로 제공하여, 관련 연구의 활성화 및 발전에 기여
•
한계점:
◦
SurGE 벤치마크는 컴퓨터 과학 분야에 국한되어 다른 분야로의 일반화에는 한계 존재
◦
자동화된 평가 프레임워크는 아직 완벽하지 않으며, 인간 평가를 완전히 대체하지 못할 수 있음
