본 논문은 사전 훈련된 모델, 특히 대규모 언어 모델(LLM)에서 특정 데이터 포인트를 삭제하거나 "잊도록" 하는 방법인 언러닝(unlearning) 과정에서 발생하는 성능 저하 문제를 해결하기 위해 UPCORE(Utility-Preserving Coreset Selection) 프레임워크를 제안합니다. UPCORE는 모델의 표현에 대한 분산과 상관관계가 있는 삭제 대상 데이터셋(forget set)에서 이상치를 제거하여 언러닝 후 모델 성능 저하를 최소화합니다. 세 가지 표준 언러닝 방법에 걸쳐 UPCORE는 데이터 삭제 효과와 모델 성능 유지라는 상반되는 목표 간의 균형을 효과적으로 달성하며, 새로운 AUC 기반 평가 지표를 사용하여 이를 입증합니다. UPCORE는 코어셋(coreset)과 제거된 데이터 포인트 간의 양의 전이를 증진하고, 삭제 대상 데이터셋에서 다른 데이터 포인트로의 음의 전이를 감소시켜 성능 향상을 가져옵니다.
