EMSEdit: Efficient Multi-Step Meta-Learning-based Model Editing
Created by
Haebom
저자
Xiaopeng Li, Shasha Li, Xi Wang, Shezheng Song, Bin Ji, Shangwen Wang, Jun Ma, Xiaodong Liu, Mina Liu, Jie Yu
개요
본 논문은 대규모 언어 모델(LLM)의 지식 업데이트 비용 문제를 해결하기 위해, 메타 학습 기반 모델 편집(MLME)의 한계를 개선한 효율적인 Multi-Step Edit(EMSEdit)를 제안한다. EMSEdit은 제한된 데이터 환경에서 편집 성능을 향상시키기 위해 Multi-Step Backpropagation(MSBP)을 활용하고, 편집되지 않은 지식을 보존하기 위해 Norm 기반 정규화를 도입한다. 다양한 실험을 통해 EMSEdit이 기존 방법들을 능가하며, 복잡한 편집 작업에도 강건함을 보인다.
시사점, 한계점
•
시사점:
◦
제한된 데이터 환경에서 LLM 편집 성능 향상.
◦
Multi-Step Backpropagation(MSBP)을 활용하여 효율적인 편집 가능.
