본 논문은 SemEval-2025 Task 4 (대형 언어 모델에서 민감한 콘텐츠 제거)에 대한 ZJUKLAB 팀의 참여 결과를 제시합니다. 과도한 망각과 부족한 망각을 피하면서 대형 언어 모델에서 선택적으로 민감한 지식을 삭제하는 것을 목표로 합니다. TIES-Merging을 활용한 모델 병합 방식을 통해 두 개의 특수화된 모델을 결합하여 균형 잡힌 학습 해제 모델을 생성하는 시스템을 제안합니다. 26개 팀 중 2위를 차지했으며, Task Aggregate 점수는 0.944, 전체 Aggregate 점수는 0.487을 기록했습니다. 성능 추이, 손실 역학, 가중치 관점 등을 분석하여 방법의 효과를 검증하고, MIA 점수와 ROUGE 기반 지표만으로는 성공적인 학습 해제를 완전히 평가하기에 부족함을 지적하며, 더 포괄적인 평가 방법론과 학습 해제 목표에 대한 재고의 필요성을 강조합니다. 소스 코드는 공개되어 있습니다.
시사점, 한계점
•
시사점: TIES-Merging 기반 모델 병합을 이용한 민감한 콘텐츠 제거 시스템이 SemEval-2025 Task 4에서 우수한 성능을 달성했습니다. 실험적 분석을 통해 학습 해제 과정에 대한 심층적인 이해를 제공합니다.
•
한계점: MIA 점수와 ROUGE 기반 지표만으로는 학습 해제 성공 여부를 충분히 평가하기 어렵다는 점을 지적합니다. 더 포괄적인 평가 방법론 개발이 필요합니다. 학습 해제 목표에 대한 재고가 필요합니다.
