본 논문은 AI 학회 심사에서의 평가자 신뢰도 점수와 심사 보고서 텍스트 간의 일관성을 심층적으로 분석합니다. 심사 보고서의 단어, 문장, 측면 수준에서 일관성을 평가하기 위해 심층 학습과 자연어 처리 기법을 활용합니다. 구체적으로, 보고서 길이, 완화적 표현(hedge)의 단어/문장 빈도, 측면 언급, 감정 분석 등을 통해 텍스트와 점수의 정렬을 평가하고, 상관관계, 유의성 검정, 회귀 분석을 통해 신뢰도 점수가 논문 결과에 미치는 영향을 분석합니다. 결과적으로 모든 수준에서 높은 텍스트-점수 일관성을 확인하였고, 회귀 분석을 통해 높은 신뢰도 점수가 논문 거절과 상관관계가 있음을 밝혀, 전문가 평가 및 동료 심사의 공정성을 검증합니다.
