ZJUKLAB팀은 SemEval-2025 Task 4 (대규모 언어 모델에서 민감한 콘텐츠 제거)에 참가하여 과도한 망각과 부족한 망각을 피하면서 선택적으로 민감한 지식을 제거하는 방법을 제안했습니다. 두 개의 특수화된 모델을 TIES-Merging 기반 모델 병합을 통해 결합하여 균형 잡힌 모델을 생성하는 시스템을 제시했으며, 26개 팀 중 2위를 기록했습니다 (Task Aggregate: 0.944, Overall Aggregate: 0.487). 성능 추이, 손실 역학, 가중치 관점 등을 분석하여 방법의 효과성을 검증했으며, MIA 점수와 ROUGE 기반 지표만으로는 성공적인 학습 제거를 완전히 평가하기에 부족함을 지적하고, 향후 연구에서 더 포괄적인 평가 방법론과 학습 제거 목표에 대한 재고를 강조했습니다. 코드는 깃허브에 공개되어 있습니다.
시사점, 한계점
•
시사점: Model Merging(TIES-Merging)을 이용한 민감한 콘텐츠 제거 시스템의 효과성을 입증했습니다. SemEval-2025 Task 4에서 상위권 성적을 달성했습니다. 학습 제거 과정에 대한 심층적인 분석을 제공했습니다.
•
한계점: MIA 점수와 ROUGE 기반 지표만으로는 성공적인 학습 제거를 완전히 평가하는 데 한계가 있음을 지적했습니다. 더 포괄적인 평가 방법론 개발의 필요성을 강조했습니다. 학습 제거 목표에 대한 재고가 필요함을 시사했습니다.
