OpenReviewer는 머신러닝 및 AI 학회 논문에 대한 고품질 동료 검토를 생성하는 오픈소스 시스템입니다. 핵심은 상위 학회의 79,000건의 전문가 검토 데이터를 사용하여 미세 조정된 80억 매개변수 언어 모델인 Llama-OpenReviewer-8B입니다. PDF 논문 제출본과 검토 양식을 입력으로 받아 기술적 내용(수식, 표 포함)을 포함한 전체 텍스트를 추출하고, 학회별 가이드라인에 따라 구조화된 검토를 생성합니다. 400편의 테스트 논문에 대한 평가 결과, OpenReviewer는 GPT-4나 Claude-3.5와 같은 범용 LLM보다 훨씬 더 비판적이고 현실적인 검토를 생성하는 것으로 나타났습니다. 다른 LLM은 과도하게 긍정적인 평가를 내리는 경향이 있는 반면, OpenReviewer의 권장 사항은 인간 심사자의 평점 분포와 밀접하게 일치합니다. 본 시스템은 저자에게 제출 전 원고를 개선하기 위한 신속하고 건설적인 피드백을 제공하지만, 인간 동료 검토를 대체하기 위한 것은 아닙니다. OpenReviewer는 온라인 데모 및 오픈소스 도구로 제공됩니다.