OpenReviewer는 머신러닝 및 AI 학회 논문에 대한 고품질 동료 검토를 생성하는 오픈소스 시스템입니다. 79,000건의 상위 학회 전문가 검토 데이터를 사용하여 미세 조정된 80억 매개변수의 언어 모델 Llama-OpenReviewer-8B를 기반으로 합니다. PDF 논문 제출 및 검토 템플릿을 입력으로 받아 기술적 내용(방정식, 표 포함)을 포함한 전체 텍스트를 추출하고, 학회별 지침에 따라 구조화된 검토를 생성합니다. 400편의 테스트 논문에 대한 평가 결과, GPT-4 및 Claude-3.5와 같은 범용 LLM과 비교하여 훨씬 더 비판적이고 현실적인 검토를 생성하는 것으로 나타났습니다. 다른 LLM들이 과도하게 긍정적인 평가를 내리는 경향이 있는 반면, OpenReviewer의 권장 사항은 인간 평가자의 등급 분포와 밀접하게 일치합니다. 제출 전 원고 개선을 위한 신속하고 건설적인 피드백을 저자에게 제공하지만, 인간 동료 검토를 대체하기 위한 것은 아닙니다. 온라인 데모 및 오픈소스 도구로 제공됩니다.
