본 논문은 2030년까지 대부분의 훈련 데이터가 기계 생성 합성 데이터가 될 것이라는 전망에 따라, 합성 데이터 반복 훈련으로 인한 모델 붕괴 문제를 해결하는 새로운 방법을 제시합니다. 모델 붕괴의 주요 원인으로 모델의 자체 생성 데이터에 대한 과신을 밝히고, 이를 해결하기 위해 고신뢰도 예측의 가중치를 낮추는 신뢰도 인식 손실 함수인 Truncated Cross Entropy (TCE)를 제안합니다. 이론적 및 실험적 분석을 통해 TCE가 모델 붕괴 전 성능 유지 기간을 2.3배 이상 연장시키는 것을 보여주며, 다양한 모달리티에 일반화될 수 있음을 입증합니다. 결론적으로, 손실 함수 설계는 합성 데이터 시대의 생성 모델 품질 유지를 위한 간단하면서도 강력한 도구임을 시사합니다.
