본 논문은 합성 데이터를 사용한 언어 모델 학습에서 발생하는 모델 붕괴 문제를 다룹니다. 합성 데이터 비율 증가에 따른 모델 성능 저하 현상을 실험적으로 확인하고, 이러한 현상이 데이터 분포 변화와 n-gram 특징의 과집중으로 인한 것임을 분석합니다. 이를 해결하기 위해 인간이 생성한 데이터에 토큰 편집을 적용하여 반합성 데이터를 생성하는 방법을 제안하고, 이론적 및 실험적으로 모델 붕괴를 방지하고 성능을 향상시킬 수 있음을 보여줍니다. 실험은 처음부터 학습하는 경우, 지속적인 학습, 그리고 지도 학습 미세 조정 등 다양한 상황에서 수행되었습니다.
시사점, 한계점
•
시사점:
◦
합성 데이터의 비율과 언어 모델 성능 간의 음의 상관관계를 실험적으로 규명.
◦
모델 붕괴의 원인으로 데이터 분포 변화 및 n-gram 특징 과집중을 제시.
◦
토큰 편집을 통한 반합성 데이터 생성 방법 제안 및 성능 향상 효과 검증.
◦
이론적 증명을 통해 토큰 수준 편집이 모델 붕괴 방지에 효과적임을 뒷받침.
•
한계점:
◦
제안된 토큰 편집 방법의 일반성 및 다양한 언어 모델, 데이터셋에 대한 적용성 추가 연구 필요.
