Satori-SWE: Evolutionary Test-Time Scaling for Sample-Efficient Software Engineering
Created by
Haebom
저자
Guangtao Zeng, Maohao Shen, Delin Chen, Zhenting Qi, Subhro Das, Dan Gutfreund, David Cox, Gregory Wornell, Wei Lu, Zhang-Wei Hong, Chuang Gan
개요
본 논문은 100B 미만 매개변수를 가진 작은 언어 모델이 실제 소프트웨어 엔지니어링 작업(예: GitHub 이슈 해결)에서 어려움을 겪는 문제를 해결하기 위해, 진화적 테스트 시간 스케일링(EvoScale) 기법을 제안합니다. EvoScale은 생성 과정을 진화적 과정으로 취급하여 반복적인 선택과 변이를 통해 높은 점수를 얻는 영역으로 출력 분포를 이동시킴으로써 정확한 솔루션을 찾는 데 필요한 샘플 수를 줄입니다. 외부 검증자에 의존하지 않고 강화 학습(RL)을 통해 모델이 자체적으로 점수를 향상시키도록 학습시켜, 샘플링 및 선택에 드는 오버헤드를 줄입니다. SWE-Bench-Verified 데이터셋에서 32B 매개변수 모델인 Satori-SWE-32B에 EvoScale을 적용하여 100B 이상 매개변수를 가진 모델과 동등하거나 우수한 성능을 소수의 샘플만으로 달성했습니다. 코드, 데이터 및 모델은 모두 오픈소스로 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
100B 미만의 작은 언어 모델의 성능을 효과적으로 향상시키는 새로운 방법 제시
◦
기존의 테스트 시간 스케일링 기법의 단점인 과도한 샘플링 및 비용 문제 해결
◦
강화학습을 통해 모델의 자가 발전을 가능하게 함으로써 효율성 증대
◦
32B 모델로 100B 이상 모델과 유사하거나 우수한 성능 달성
◦
코드, 데이터 및 모델의 오픈소스 공개를 통한 연구의 재현성 및 확장성 확보
•
한계점:
◦
EvoScale의 성능이 특정 데이터셋(SWE-Bench-Verified)에 국한될 가능성 존재
