본 논문은 대규모 언어 모델(LLM)의 머신 언러닝에서 손실 재가중치 부여의 효과를 분석하고, 기존 방법론의 이해와 개선을 위해 두 가지 목표, 즉 Saturation(불충분하게 최적화된 데이터 강조)과 Importance(손실 최소화에 가장 영향력 있는 중요한 데이터 강조)를 제시합니다. 각 목표에 맞는 재가중치 부여 전략을 설계하고, 광범위한 실험 분석을 통해 Saturation이 Importance 기반 재가중치 부여보다 효과적이며, 두 가지를 결합하면 추가적인 개선이 가능함을 확인합니다. 또한, 재가중치 분포의 부드러움과 세분성이 언러닝 효과에 큰 영향을 미친다는 것을 발견하고, Saturation과 Importance의 장점을 결합한 새로운 방법 SatImp을 제안합니다. 광범위한 데이터셋에 대한 실험 결과를 통해 SatImp의 효과를 검증하고, 향후 연구 방향을 제시합니다.
