# Norm Anchors Make Model Edits Last

### 저자

Mingda Liu, Zhenghan Zhu, Ze'an Miao, Katsuki Fujisawa

### 💡 개요

기존 순차적 Locate-and-Edit (L&E) 모델 편집 방식은 여러 번의 편집 후 갑작스러운 성능 저하를 겪는 문제를 가진다. 본 연구는 이러한 실패의 원인을 편집된 MLP 가중치와 해결된 값 벡터 간의 양의 노름 피드백 루프로 규명하고, 이를 해결하기 위한 Norm-Anchor Scaling (NAS) 기법을 제안한다. NAS는 각 해결된 값 벡터를 원본 모델의 참조 노름으로 재조정하여 피드백 루프를 효과적으로 차단하며, 이를 통해 모델 편집의 사용 가능한 범위를 4배 이상 확장하고 장기적인 편집 성능을 평균 72.2% 향상시킨다.

### 🔑 시사점 및 한계

- 순차적 모델 편집에서 발생하는 성능 저하의 근본 원인을 양의 노름 피드백 루프로 명확히 규명하고 분석했다.

- 제안된 Norm-Anchor Scaling (NAS) 기법은 기존의 편집 방식이 가진 장기 편집 성능 및 안정성 문제를 효과적으로 해결하며, 모델 아키텍처나 편집기 종류에 구애받지 않는 범용적인 개선 효과를 보인다.

- NAS는 단 한 줄의 코드 수정과 미미한 계산 오버헤드로 큰 성능 향상을 달성하므로, 실제 모델 편집 작업에 쉽게 적용될 수 있는 실용적인 솔루션이다.

---

[PDF 보기](https://arxiv.org/pdf/2602.02543)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).