Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions
Created by
Haebom
저자
Daoze Zhang, Zhijian Bao, Sihang Du, Zhiyi Zhao, Kuangling Zhang, Dezheng Bao, Yang Yang
개요
본 논문은 AI 분야를 포함한 과학적 진보에 필수적인 동료 심사 시스템의 과부하 문제를 해결하기 위해, 대규모 일관성 보장 동료 심사 및 반박 데이터셋 Re^2를 제시합니다. 기존 동료 심사 데이터셋의 제한점(데이터 다양성 부족, 불일관성 및 저품질 데이터, 반박 및 저자-심사자 상호작용 지원 부족)을 해결하고자, OpenReview의 24개 학회 및 21개 워크숍에서 수집한 19,926건의 초기 제출본, 70,668건의 심사 의견, 53,818건의 반박으로 구성된 데이터셋을 구축했습니다. 반박 및 토론 단계를 다중 회차 대화 패러다임으로 구성하여, 기존의 정적 심사 작업과 동적 상호 작용 LLM 어시스턴트 모두를 지원함으로써 저자의 원고 수정에 대한 실질적인 지침을 제공하고 증가하는 심사 부담을 완화하는 데 기여합니다. 데이터와 코드는 https://anonymous.4open.science/r/ReviewBench_anon/ 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
대규모 일관성 있는 동료 심사 및 반박 데이터셋 Re^2를 제공하여 LLM 기반의 저자 및 심사자 지원 시스템 개발에 기여합니다.
◦
초기 제출본을 중심으로 데이터를 구성하여 데이터 품질을 향상시켰습니다.
◦
다중 회차 대화 패러다임을 통해 동적 상호 작용을 지원하는 LLM 어시스턴트 개발을 가능하게 합니다.
◦
과학 출판의 효율성을 높이고 심사 부담을 완화하는 데 기여할 수 있습니다.
•
한계점:
◦
데이터셋의 출처가 특정 학회 및 워크숍에 한정되어 있어 일반화 가능성에 대한 검토가 필요합니다.