SPICE는 소프트웨어 엔지니어링 분야의 기초 모델 학습 및 평가에 필수적인 고품질 레이블 데이터셋을 효율적으로 생성하는 자동화 파이프라인입니다. 문제 명확성, 테스트 적용 범위, 노력 추정에 대한 주석을 SWE-bench 스타일 데이터셋에 부착하며, 문맥 인식 코드 탐색, 근거 기반 프롬프트, 다중 통과 합의를 결합하여 전문가 주석에 가까운 레이블을 생성합니다. 800개 이상의 SWE-Gym 인스턴스 레이블링 경험을 바탕으로 설계되었으며, 1,000개 인스턴스 레이블링 비용을 수동 주석의 약 $100,000에서 $5.10으로 획기적으로 절감합니다. SWE-Gym의 291개 오픈소스 프로젝트에서 얻은 6,802개 인스턴스의 새로운 데이터셋인 SPICE Bench를 공개하며, 이는 SWE-bench Verified보다 13배 이상 규모가 큽니다.
