LLM의 병렬 추론 성능 향상을 위해 다양한 추론 경로를 생성하는 것이 중요하지만, 복잡한 문제에서는 정확성과 다양성 사이의 trade-off가 발생합니다. 본 논문에서는 병렬 추론을 set-of-next-token-prediction 문제로 간주하고, 전역 분기 토큰과 고유한 추론 경로 간의 자기 지도 이분 매칭을 사용하여 Supervised Fine-Tuning (SFT)에 set-based global loss를 통합하는 Set Supervised Fine-Tuning (SSFT) 방법을 제안합니다. SSFT는 고유한 추론 모드를 유지하고, emergent global forking tokens을 생성하며, 여러 추론 벤치마크에서 SFT보다 일관되게 높은 성능을 보입니다.
