Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews

Created by
  • Haebom

저자

Sai Suresh Macharla Vasu, Ivaxi Sheth, Hui-Po Wang, Ruta Binkyte, Mario Fritz

개요

대규모 언어 모델(LLM)의 활용이 동료 검토 과정을 변화시키고 있으며, 더 상세한 평가를 작성하는 데 도움을 주거나 전체 리뷰를 자동 생성하는 데까지 이르고 있다. 본 논문은 LLM이 생성한 동료 검토에서 저자 소속 및 성별과 같은 민감한 메타데이터에 대한 편향을 조사하기 위해 통제된 실험을 수행했다. 연구 결과, 일반적인 학술 랭킹에서 높은 순위를 차지하는 기관을 선호하는 소속 편향이 일관되게 나타났으며, 성별 선호도 또한 발견되었다. 토큰 기반의 소프트 평점에서 이러한 암묵적 편향이 더욱 뚜렷해짐을 확인했다.

시사점, 한계점

LLM 기반 동료 검토에서 소속 편향이 존재하며, 이는 높은 순위의 기관을 선호하는 경향을 보인다.
성별 선호도 역시 나타나며, 비록 그 정도가 미미하더라도 시간이 지남에 따라 축적될 수 있다.
토큰 기반 소프트 평점에서 암묵적 편향이 더욱 두드러지게 나타난다.
연구는 LLM 기반 동료 검토의 공정성과 신뢰성에 대한 중요한 문제점을 제기한다.
👍