AbGen은 과학 연구를 위한 ablation study 설계 능력을 평가하기 위해 고안된 최초의 벤치마크입니다. 807개의 NLP 논문에서 추출한 1,500개의 전문가 주석이 달린 예시로 구성되어 있으며, 주어진 연구 맥락에 따라 특정 모듈이나 프로세스에 대한 상세한 ablation study 설계를 생성하는 과제를 LLMs에 부여합니다. DeepSeek-R1-0528 및 o4-mini와 같은 주요 LLMs에 대한 평가 결과, ablation study 설계의 중요성, 충실성 및 건전성 측면에서 이러한 모델과 전문가 간에 상당한 성능 차이가 있음을 보여줍니다. 또한, 현재의 자동 평가 방법은 사람의 평가와 비교했을 때 상당한 차이를 보이므로, 본 과제에 대해 신뢰할 수 없음을 보여줍니다. 이를 자세히 조사하기 위해, 본 과제에서 LLM 성능 측정에 사용되는 일반적인 자동 평가 시스템의 신뢰성을 평가하도록 설계된 메타 평가 벤치마크인 AbGen-Eval을 개발했습니다. AbGen-Eval에서 다양한 LLM-as-Judge 시스템을 조사하여 복잡한 과학적 과제에 대한 더 효과적이고 신뢰할 수 있는 LLM 기반 평가 시스템 개발에 대한 통찰력을 제공합니다.
