전통적인 폐쇄형 동료 심사 시스템의 문제점을 지적하고, 개방적이고 하향식 프로세스를 통한 대안적 동료 심사 시스템의 효능과 정확성을 연구합니다. 두 개의 주요 과학 컨퍼런스(CCN2023 및 ICLR2023)의 데이터를 활용하여 검토 점수의 높은 변동성과 낮은 상관관계를 강조하고, 리뷰어 품질 추정기를 사용하여 리뷰어 품질과 저자 품질 간의 무관함을 밝힙니다. 또한, 중간 수준의 논문 점수를 가진 저자가 최고의 리뷰어임을 발견합니다. 베이지안 방법을 사용하여 논문 품질을 추정하고, 개방형 시스템에서 리뷰어 평가를 통해 높은 품질의 논문 점수를 얻을 수 있음을 보여줍니다. 마지막으로, 고품질 리뷰어를 인정하고 더 넓은 검토 범위를 장려하기 위한 인센티브 구조를 제시합니다.
