Allocate Marginal Reviews to Borderline Papers Using LLM Comparative Ranking

Created by

Haebom

저자

Elliot L. Epstein, Rajat Dwaraknath, John Winnicki, Thanawat Sornwanee

💡 개요

본 논문은 대규모 ML 학회에서 부족한 리뷰 역량을 무작위 또는 친화도 기반 방식 대신 합격선에 가까운 논문에 우선적으로 할당해야 한다고 주장합니다. 이를 위해 인간 리뷰 전에 LLM 기반 비교 랭킹(쌍별 비교 및 Bradley-Terry 모델 사용)을 활용하여 경계선 논문 구간을 식별하고, 리뷰 할당 시점에 추가 리뷰를 효율적으로 배분하는 방법을 제안합니다. 제안된 방법은 인간 리뷰 결과에 의존하지 않으며, LLM 출력을 최종 합격/불합격 결정에 사용하지 않고 추가 리뷰 할당에만 활용합니다.

🔑 시사점 및 한계

•

합격선 논문 우선 배정의 효율성 증대: 부족한 리뷰 자원을 합격 가능성이 높은 경계선 논문에 집중함으로써 전반적인 리뷰 품질 및 논문 평가의 정확성을 높일 수 있습니다.

•

LLM을 활용한 선제적 리뷰 자원 최적화: 인간 리뷰 전에 LLM 기반 비교 랭킹을 통해 경계선 논문을 미리 파악하고 추가 리뷰를 할당함으로써, 리뷰 과정의 효율성을 높이고 잠재적으로 더 나은 의사결정을 지원할 수 있습니다.

•

예상되는 예측-실제 경계선 겹침(ρ)과 추가 리뷰의 점진적 가치(Δ)에 대한 측정: 제안된 방법론의 효과를 정량화하기 위한 측정 지표를 제시하고, 이를 추정하기 위한 방법을 제공합니다.

PDF 보기

Made with Slashpage