Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

Created by
  • Haebom

저자

Daoze Zhang, Zhijian Bao, Sihang Du, Zhiyi Zhao, Kuangling Zhang, Dezheng Bao, Yang Yang

개요

본 논문은 AI 분야를 포함한 과학적 진보에 필수적인 동료 심사 시스템의 과부하 문제를 해결하기 위해, 대규모 일관성 보장 동료 심사 및 반박 데이터셋 Re^2를 제시합니다. 기존 동료 심사 데이터셋의 제한점(데이터 다양성 부족, 불일관성 및 저품질 데이터, 반박 및 저자-심사자 상호작용 지원 부족)을 해결하고자, OpenReview의 24개 학회 및 21개 워크숍에서 수집한 19,926건의 초기 제출본, 70,668건의 심사 의견, 53,818건의 반박으로 구성된 데이터셋을 구축했습니다. 반박 및 토론 단계를 다중 회차 대화 패러다임으로 구성하여, 기존의 정적 심사 작업과 동적 상호 작용 LLM 어시스턴트 모두를 지원함으로써 저자의 원고 수정에 대한 실질적인 지침을 제공하고 증가하는 심사 부담을 완화하는 데 기여합니다. 데이터와 코드는 https://anonymous.4open.science/r/ReviewBench_anon/ 에서 이용 가능합니다.

시사점, 한계점

시사점:
대규모 일관성 있는 동료 심사 및 반박 데이터셋 Re^2를 제공하여 LLM 기반의 저자 및 심사자 지원 시스템 개발에 기여합니다.
초기 제출본을 중심으로 데이터를 구성하여 데이터 품질을 향상시켰습니다.
다중 회차 대화 패러다임을 통해 동적 상호 작용을 지원하는 LLM 어시스턴트 개발을 가능하게 합니다.
과학 출판의 효율성을 높이고 심사 부담을 완화하는 데 기여할 수 있습니다.
한계점:
데이터셋의 출처가 특정 학회 및 워크숍에 한정되어 있어 일반화 가능성에 대한 검토가 필요합니다.
데이터셋의 균형(예: 분야, 주제)에 대한 분석이 부족합니다.
LLM 어시스턴트의 실제 성능 평가 결과는 제시되지 않았습니다.
데이터 수집 과정에서의 편향 가능성에 대한 논의가 부족합니다.
👍