BaisBench는 AI 과학자의 자율적인 생물학 연구 능력을 평가하기 위한 새로운 벤치마크입니다. 기존 벤치마크들이 데이터 없는 추론이나 미리 정의된 통계적 답변을 사용한 데이터 분석에 초점을 맞춘 것과 달리, BaisBench는 데이터 기반의 현실적인 평가 환경을 제공합니다. 두 가지 과제로 구성되어 있는데, 31개의 전문가가 라벨링한 단일 세포 데이터 세트에 대한 세포 유형 주석 작업과 41개의 최근 단일 세포 연구의 생물학적 통찰력에서 파생된 198개의 객관식 질문에 답하는 과학적 발견 작업입니다. 최첨단 AI 과학자와 LLM 에이전트에 대한 체계적인 실험 결과, 현재 모델은 두 가지 과제 모두에서 인간 전문가보다 상당히 성능이 떨어지는 것으로 나타났습니다. GitHub에서 이용 가능합니다 (https://github.com/EperLuo/BaisBench).
