본 논문은 대규모 언어 모델(LLM)의 소프트웨어 엔지니어링 역량을 훈련 및 평가하기 위한 GitHub 이슈 해결 작업을 위한 대규모 데이터셋 구축의 어려움을 해결하고자, 자동화된 파이프라인인 SWE-Factory를 제안한다. SWE-Factory는 평가 환경 구축 자동화를 위한 다중 에이전트 시스템 SWE-Builder, 수동 파서 작성을 없애는 표준화된 종료 코드 기반 채점 방법, 그리고 신뢰할 수 있는 종료 코드 신호를 이용한 자동화된 fail2pass 검증 과정의 세 가지 핵심 자동화 구성 요소를 통합한다. 실험 결과, SWE-Factory는 유효한 작업 인스턴스를 효과적으로 구축하며, GPT-4.1-mini와 Gemini-2.5-flash를 사용하여 각각 인스턴스당 $0.045와 $0.024의 비용으로 상당한 수의 유효 인스턴스를 생성한다. 또한, 종료 코드 기반 채점은 수동 검사와 100% 일치하는 정확도를 달성하고, 자동화된 fail2pass 검증은 0.92의 정밀도와 1.00의 재현율을 달성한다. 본 논문에서 제시된 자동화 파이프라인은 대규모 고품질 GitHub 이슈 해결 데이터셋 수집을 가속화할 것으로 기대된다. 코드와 데이터셋은 공개적으로 제공된다.
