본 논문은 대규모 언어 모델(LLM)이 동료 심사 과정에 미치는 영향, 특히 공정성과 신뢰성에 대한 우려를 조사합니다. 저자 소속 및 성별과 같은 민감한 메타데이터를 사용한 통제된 실험을 통해 LLM이 생성한 동료 심사 결과의 편향성을 분석했습니다. 분석 결과, LLM은 일반적인 학계 순위에서 높은 순위를 차지하는 기관에 유리한 소속 편향을 일관되게 보였습니다. 또한, 미묘하지만 시간이 지남에 따라 누적될 가능성이 있는 성별 선호도도 발견했습니다. 특히, 토큰 기반 소프트 평점에서 암묵적인 편향이 더욱 두드러짐을 확인했습니다.
