본 논문은 심사자 부족과 증가하는 학술 연구량의 문제를 해결하기 위해 AI 기반 동료 심사 시스템을 제안합니다. 핵심은 두 가지 구성 요소로 이루어져 있습니다. 첫째, AI 생성 심사의 정확성, 분석 심도, 건설성, 가이드라인 준수 여부 등을 평가하는 ReviewEval 프레임워크입니다. 둘째, 특정 학회 및 저널에 맞춰 피드백을 조정하고, 중간 결과물과 최종 결과물을 반복적으로 개선하는 자체 개선 및 외부 개선 루프를 갖춘 LLM 기반 심사 생성 에이전트 ReviewAgent입니다. ReviewAgent는 기존 AI 기준 및 전문가 심사보다 실행 가능한 통찰력을 각각 6.78%와 47.62% 향상시켰고, 분석 심도는 3.97%와 12.73%, 가이드라인 준수는 10.11%와 47.26% 향상시켰습니다. 본 논문은 AI 기반 동료 심사를 위한 필수 지표를 제시하고, AI 생성 심사의 신뢰성과 영향력을 크게 향상시켰다고 주장합니다.
