본 논문은 추론 모델 학습 중 발생하는 다양성 붕괴 현상에 대한 연구를 다룹니다. 지도 학습 미세조정(SFT) 과정에서 Pass@1 지표는 향상되지만 Pass@k 지표는 급격히 저하되는 현상을 발견했습니다. 이에 초기 체크포인트와 최신 SFT 체크포인트 가중치를 보간하는 간단한 방법인 WiSE-FT를 제시합니다. WiSE-FT는 Pass@k 지표를 거의 완벽하게 회복시키는 동시에 Pass@1 지표도 향상시키며, 강화 학습을 통해 더욱 개선될 수 있습니다. 또한, WiSE-FT는 온도 조절과 같은 다양성 유도 디코딩 전략만으로는 달성할 수 없는 상호 보완적인 성능 향상을 제공합니다. Pass@k의 편향-분산 트레이드오프를 공식화하여 WiSE-FT가 편향과 분산을 동시에 줄이는 반면, 온도 조절은 편향과 분산 간의 트레이드오프를 야기한다는 것을 보였습니다.
