본 논문은 대규모 언어 모델(LLM)의 머신 언러닝에서 손실 재가중치 부여의 효과를 연구합니다. 기존 연구에서 손실 재가중치 부여의 정확한 기능과 최적 전략이 불분명하다는 점을 지적하며, 두 가지 목표, 즉 '포화(Saturation)'와 '중요도(Importance)'를 제시합니다. '포화'는 충분히 최적화되지 않은 데이터를 강조하고, '중요도'는 손실 최소화에 가장 영향력 있는 중요한 데이터를 강조하는 것을 의미합니다. 각 목표를 위한 특정 재가중치 부여 전략을 설계하고, 광범위한 실험 분석을 통해 '포화'가 '중요도' 기반 재가중치 부여보다 효과적이며, 두 가지를 결합하면 추가적인 개선이 가능함을 보여줍니다. 또한, 재가중치 분포의 매끄러움과 세분성이 언러닝 효과에 큰 영향을 미친다는 것을 발견하고, '포화'와 '중요도'의 장점을 결합한 간단한 재가중치 부여 방법인 SatImp를 제안합니다. 광범위한 데이터셋에 대한 실험 결과를 통해 SatImp의 효과를 검증하고, 기존 연구의 격차를 해소하고 미래 연구 방향을 제시합니다.
