본 논문은 대규모 언어 모델(LLM)을 이용한 과학 질의응답 시스템의 평가 견고성에 대한 연구 부족을 지적하며, 이를 해결하기 위한 오픈소스 프레임워크 YESciEval을 제시합니다. YESciEval은 세분화된 등급 기반 평가와 강화 학습을 결합하여 LLM 평가자의 낙관적 편향을 완화합니다. 다양한 학문 분야를 아우르는 과학 Q&A 데이터셋(적대적 변형 포함)과 여러 LLM의 평가 점수를 공개하며, 독점 모델 및 인간 피드백 없이 확장 가능하고 비용 효율적인 평가를 가능하게 합니다. 신뢰할 수 있는 LLM-as-a-judge 모델을 발전시켜 AI 정렬을 지원하고 과학적 탐구와 인공 일반 지능에 필수적인 견고하고 투명한 평가를 촉진합니다.
