How to Find Fantastic AI Papers: Self-Rankings as a Powerful Predictor of Scientific Impact Beyond Peer Review
Created by
Haebom
Category
Empty
저자
Buxin Su, Natalie Collina, Garrett Wen, Didong Li, Kyunghyun Cho, Jianqing Fan, Bingxin Zhao, Weijie Su
개요
본 논문은 학술 연구의 동료 심사 과정에서 고품질 연구를 식별하기 위한 새로운 방법으로, 저자가 동일 AI 컨퍼런스에 제출한 여러 논문에 대한 자체 순위 매기기를 조사합니다. 게임 이론적 추론에 기반하여, 저자가 자신의 연구의 개념적 깊이와 장기적 가능성에 대한 고유한 이해를 가지고 있기에 자체 순위 매기기가 유용할 것이라는 가설을 세웠습니다. 대규모 실험을 통해 저자 자체 순위 매기기가 피어 리뷰 점수보다 미래 인용 횟수를 예측하는 데 더 효과적이며, 특히 150회 이상 인용된 논문을 식별하는 데 유용하다는 것을 발견했습니다.
시사점, 한계점
•
시사점:
◦
저자 자체 순위 매기기는 AI 분야에서 고품질 연구를 식별하는 데 있어 동료 심사를 보완하는 신뢰할 수 있고 가치 있는 방법입니다.
◦
저자 자체 순위 매기기는 향후 연구의 방향을 제시할 수 있는 잠재력이 높은 논문을 식별하는 데 효과적입니다.
◦
저자 자체 순위 매기기는 피어 리뷰 점수보다 미래 인용 횟수를 더 정확하게 예측할 수 있습니다.